ReAct提示方法：推理增强还是模式匹配？

先抛个判断：如今不少大模型在推理任务上的表现提升，到底是真的聪明了，还是仅仅在玩高难度的连连看？最近亚利桑那州立大学的一篇研究，直接揭开了这个谜底。

大型语言模型在自然语言处理和自然语言理解方面确实进步神速，写摘要、翻译、问答等等都不在话下。有了这些底子，研究人员自然开始琢磨：这些模型能不能搞定需要推理和规划的任务？问题来了，当模型在某个顺序任务上表现出色时，这到底是货真价实的推理，还是表面上看起来厉害而已？这正是这篇论文要深挖的核心。

论文介绍

说到利用大语言模型做推理，有个特别流行的招数叫ReAct提示方法。它的思路很直接：把推理的思考轨迹和实际执行的动作交织在一起，声称这样能显著提升模型在顺序决策上的表现。听起来是不是很靠谱？但学术圈一直有质疑：这种改进是源于真正的推理能力，还是仅仅靠识别输入示例里的模式？ASU的研究团队决定把这事彻底查清楚。

在此之前，提升LLM推理能力的主流方法基本集中在提示工程上。思维链（CoT）也好，ReAct也罢，本质上都是在提示里嵌入结构化的推理步骤或指令，引导大模型一步步模拟人类的解题过程。这套逻辑看起来无懈可击——毕竟逻辑推理和规划，本来就需要循序渐进。

亚利桑那州立大学的团队设计了一套系统性分析，专门来检验ReAct框架的“疗效”。他们拿GPT-3.5-turbo、GPT-3.5-instruct、GPT-4和Claude-Opus这几位主力模型，放在一个叫AlfWorld的模拟环境里做实验。关键操作是：他们刻意改变了输入提示的结构和内容，试图找出ReAct方法带来的性能提升到底从何而来。

实验设计非常巧妙。他们对ReAct提示做了各种“变体手术”——比如切断推理轨迹和动作执行的交织、调整指导的类型与结构、改变示例任务和查询任务的相似度。结果很说明问题：模型的性能几乎不受推理轨迹与动作交织的影响。真正起决定性作用的，是输入示例和查询任务之间的相似性。换言之，这个提升来自于模式匹配，而不是什么增强的推理能力。

具体数据更能说明一切。GPT-3.5-turbo在AlfWorld的六个不同任务上，使用基础的ReAct提示时成功率只有27.6%；但如果换成基于示例的CoT提示，成功率直接跳到46.6%。更扎心的是，一旦降低示例任务和查询任务的相似性，连GPT-4的性能都会断崖式下滑。这不就明摆着告诉我们，方法的脆弱性暴露无遗——它的成功高度依赖于提示中那些具体的例子。

还有一点非常反直觉：提供不相关或者干脆像安慰剂一样的指导，竟然没有显著拉低性能。比如你用弱得不能再弱的指导（提供的文本压根不包含有效信息），结果居然和基于强推理轨迹的指导差不多。这一下就把“推理轨迹的内容对LLM性能至关重要”的假设给推翻了。归根结底，成功的秘诀在于示例和任务的相似度，而不是模型本身具备了什么衔玉而生的推理天赋。

结论很清楚：ReAct框架看起来好使，但感知到的效益几乎完全归因于示例任务和查询任务的相似性。这意味着什么？一旦要上规模、做泛化，就不得不为每个新任务量身定制具体示例，可扩展性就成了大问题。这项研究给所有热衷于提示工程的人提了个醒——在评估这些方法声称的推理能力时，得多个心眼，别被表面数据迷了眼。