大模型Agent的核心还是prompt？

开门见山。大模型Agent的核心到底是什么？恐怕不仅仅是prompt——尽管prompt确实是目前实现Agent的关键手段之一。要讲清楚这个问题，得先澄清一个概念：什么是真正的AI Agent。

作为智能体，AI Agent必须能感知环境、做决策、并付诸行动。传统AI靠用户逐条输入Prompt与大模型交互，而Agent则是“自带剧本”的：它融合了规划、记忆和工具使用等核心能力，在操作时，不需要你一步步提示。你只需设定一个目标，它就能自主思考、调用各种工具，分步完成。听起来很酷对吧？那现在，Agent发展到什么水平了？技术瓶颈在哪里？未来又会带来什么新可能？一起来看。

AI Agent的核心要素

业界公认，AI Agent技术包含四大模块：

1. 角色定义模块
   。这一环节，Agent得像人一样，时刻关注任务执行的背景资料和具体要求，本质上是构建一份属于它自己的“角色定位数据包”。

2. 记忆模块
   。负责信息的存储与检索，分短期记忆和长期记忆。短期记忆等价于模型处理的即时上下文，长期记忆则通常来自外部存储，比如向量数据库。

3. 规划模块
   。模仿人类拆解复杂问题的策略——把大任务分解成若干小目标，逐一解决。

4. 执行模块
   。这是Agent与环境的直接互动。可能调用API、激活其他功能模块，或者执行具体操作。说白了，Agent要学会使用工具。

上面每个模块，都离不开Prompt。一个好的Prompt，在引导和优化大模型输出方面作用巨大。比如，一个清晰明确的Prompt，能显著提升大模型回答的质量；结构化Prompt则通过模板和格式要求，帮助AI更精准地理解你的意图。字节跳动推出的“扣子”平台，就是在这套架构之上构建Agent的。

当前面临的挑战

本质上，AI Agent还是依赖底层的大模型。所以大模型的老问题，Agent一个也跑不掉：幻觉、过拟合、对抗攻击和恶意输入等等。抛开这些不谈，前面说的四大模块，眼下也都各有难处。

在角色定义上，最大的瓶颈在输入。大模型文本生成能力一流，但处理图像、视频等多模态数据时还是力不从心。未来的Agent必须能吃掉多模态输入，这就要求它具备更强的多模态理解和生成能力。

记忆方面，Agent经常要处理长序列输入和输出。怎么优化上下文长度和结构，让模型跑得更快更准，是门硬功夫。另外，Agent在和大模型交互时，如何保持任务的上下文连贯性，也是个头疼的问题。

规划层面的挑战，主要在于当前的Agent系统严重依赖大模型拆解任务和选择工具的能力。大模型得先理解任务，然后拆开它，最后还得正确调用工具来执行。这不仅仅是语言能力的问题，可能还需要专门训练模型在任务拆解方面“开小灶”。

执行环节最现实的问题是：目前的Agent主要解决特定场景的问题——智能机器人、问答式交互、文档分类等，缺乏普适性。而且大多数Agent还停留在“玩具”阶段，在工业、商业等复杂的决策场景中，表现远未达标。原因在于，Agent需要有效的反馈机制来理解环境并调整行为，而这一点目前并没有被很好解决。在复杂的工具使用场景里，光靠prompt很难做到高成功率。Agent系统得学会学习，知道怎么调用不同工具来完成不同任务。这已经涉及工具调用学习的领域了。要知道，即使是GPT-4，在工具使用方面的正确率也只有60.8%；专门针对工具使用进行微调的模型，表现反而更差。

面对这些挑战，研究者们正在多路出击：改进Agent架构、开发更好的训练方法、提升模型的工具使用能力。比如，为了让Agent更好地理解和适应不同环境，有人提出可以创建专门用于理解和适配环境的小模型，作为大模型的“小脑”。

评估AI Agent的方法

了解了现状，那怎么判断Agent到底有没有进步？如果要比对两个Agent，有什么靠谱的方法吗？答案是肯定的。虽然Agent是新兴技术，但我们至少可以从主观和客观两个角度去评价它。业界常用的方法有以下几种，各有适用场景，综合使用才能更全面地摸清Agent的底。

当缺少数据和人工标注时，只能靠专业判断。让领域专家给AI的回答打分，或者通过图灵测试评估AI回答与人类回答的差异。这种人工参与的方式成本高，主要在早期阶段使用。

数据充足时，可以根据端到端的任务完成状况来评价。比如在文档理解领域，考验OCR的识别精度等关键指标。这种方法关注任务完成的具体细节，能突出Agent在特定领域的表现。

如果追求更通用的评价，可以用标准数据集，比如ALFWorld、HotPotQA和HumanEval。它们分别用于衡量Agent在决策、问答和编程等不同维度的表现。这种横向比较能反映Agent的整体水平。

此外，还有跨领域的综合测试数据集，像清华大学推出的AgentBench。它覆盖多个领域，对Agent进行全方位评价，增加了评估的广度。

由于Agent本身是一个系统，它的表现不只取决于底层大模型，还需从工程技术和系统角度去考察。工程技术方面，可以评价系统的稳定性——平均故障率、与基础API的交互频率等。这种方法着眼于技术实现，帮助评估系统的可靠性和效率。从系统角度，则可以引入性能指标，包括运行效率、响应时间和成本。具体做法是：比较不同Agent在完成同一任务时所需的迭代次数、交互次数和总耗时。

说到底，Agent尽管依赖大模型，本质上还是一项工程技术。而工程离不开实践——怎么把提示词工程、大模型微调，以及LangChain这样的框架结合起来，构建真正的Agent应用？这才是关键所在。

未来趋势与展望

AI Agent作为AI领域的重要方向，正在快速演进，也催生了新的技术挑战。不过，近期多模态大模型的进步给出了一个方向：假设我们拥有一个集成的多模态大模型，Agent在处理内部多模态任务时的难度将急剧降低。它需要的交互更少，出错的可能性也大幅下降。这种原生模型能直接识别图像，无需额外模型把图像转换为文本再解读。从经济角度看，集成多模态模型能把管理多个模型的复杂性和成本，转化为管理单一模型的较低成本，极大减轻运营负担。

未来的Agent技术，大概率会朝着更通用、更智能、更高效的方向迈进。而当AI Agent作为群体展现出智能的那一天，或许就是我们迈向通用人工智能的重要一步。