百度推出自推理RAG框架
百度最近终于放了个大招——一个名为“自推理”的框架,号称能让RAG系统变得更靠谱、更易追踪。说白了,就是让大模型自己问自己答,自己出题再自己改卷,这套操作颇有几分“自我博弈”的味道。
这个框架大致分三步走:
- 相关性判断:模型自己判断检索到的文档和问题是否相关。
- 证据提取:模型挑选相关文档,从中提取关键句子作为证据。
- 轨迹分析:模型基于前两步生成的推理轨迹,给出最终答案。
听起来是不是有点玄乎?其实就是让模型自己当自己的老师,自己教自己如何思考——既当爹又当妈。更离谱的是,这玩意儿只用了2000个训练样本(还是由GPT-4生成的),就能和GPT-4打个平手。

网友Lihua(@yZHxkVi1aTjSJmJ) 对百度这波操作表示赞叹:这种利用大模型自身推理轨迹的方法很有意思,可以提高模型的透明度和可解释性,让我们更好地理解模型是如何得出结论的。
这种让模型自己解释自己的做法,可以说是相当“鸡贼”了:不光能提高准确率,还能让开发者更清楚地看到模型的思考链条,而不再是一个黑箱。
另一位网友Zoe Wang(@zoewangai) 更是直接上手研究了一番,她总结道:作者提出的“自推理”框架包括三个关键过程——相关性感知过程(RAP)指导语言模型判断检索文档与问题的相关性;证据感知选择过程(EAP)引导语言模型选择和引用相关文档,并从中选取关键句子作为“证据”;轨迹分析过程(TAP)要求语言模型基于前两步的自推理轨迹生成简明分析,并给出最终答案。
从技术路径来看,这套思路其实并不复杂,但贵在将“推理链条”显式化、可追溯。当RAG系统面对复杂问题时,常见的毛病是答非所问或者张冠李戴,而自推理框架通过强制模型走完“判断相关性→提取证据→推理分析”三步,相当于给模型的思考过程装上了行车记录仪——哪里出了岔子,回头一查便知。
当然,2000个样本就能达到这样的效果,也侧面说明高质量“合成数据+精心设计的推理步骤”有多么重要。对于中小团队来说,这或许是一条用低成本撬动高回报的可行路径。
-
- 关于宇宙的好的网名有哪些
- 角色扮演 | 1
- 网名