LlamaIndex团队技术报告：“RAG的尽头是Agent”

LlamaIndex团队在2024年的一场技术分享中，由联合创始人兼CEO Jerry Liu带来了一场题为“超越RAG：构建高级上下文增强型LLM应用”的演讲。看完整个报告，一个通俗但精准的判断浮出水面：

。这个观点并不是说RAG要被淘汰，而是指当应用场景从简单问答走向复杂任务时，RAG的自然演进方向就是Agent化。

先拆解一下RAG本身的局限性。RAG最初的设计目标很明确：处理简单问题和小型文档集。它的典型流程包括数据解析、索引检索和直接的问答。但一旦遇到更复杂的需求——比如总结整份年度报告、跨文档对比分析、结构化语义搜索——RAG就暴露了明显的短板。它缺乏对复杂任务的理解能力，也缺少多步推理和工具调用的机制。

为了解决这些问题，报告引入了

的概念。Agent不是简单的替换，而是在RAG基础上增加了多个关键层次的能力：多轮对话让交互更深入，查询/任务规划层让系统能理解并拆解复杂指令，工具接口使LLM能调用外部环境，反思机制允许系统自我评估并改进执行过程，记忆模块则维护用户交互历史以提供个性化服务。这些层次叠加起来，就构成了从RAG到Agent的演进阶梯。

Agent本身也有不同层级。简单Agent成本低、延迟低，但功能有限；高级Agent成本更高、延迟更高，却能实现动态规划和执行。报告重点提到了几种具体实现：

（Reasoning + Acting）是一种将推理和行动结合的系统，利用查询规划、工具使用和记忆来执行复杂任务；则像一个Agent编译器，通过生成步骤的有向无环图（DAG）来实现并行多功能规划和执行，大幅提升效率。此外，自我反思和可观察性让Agent的执行过程可追溯、可优化，而多Agent系统的概念则进一步扩展了能力边界——多个Agent可以同步或异步协作，完成单个Agent难以胜任的任务。

以下为报告中的部分关键幻灯片，直观展示了从RAG到Agent的演进路径、架构层次以及各模块的交互关系：