RAG下内外知识冲突问题的量化和规避方案

概念解释

RAG：如果你不知道啥是RAG，那这篇可能不太适合你。
内知识：指模型本身的参数知识（先验知识）。
外知识：上下文，也称参考信息。
内外知识冲突：是指模型本身的参数知识和提供的参考信息知识不一致时的情况。比如对于一个问题：1+1=？，模型本身的参数知识是等于2，但提供的参考信息答案是3。

写在前面

召回难，回复难，这俩问题在RAG圈子里可以说是老生常谈了。前阵子我们聊过召回阶段的一些解法，比如知识注入什么的。今天换个角度，借一篇论文来会会这个“回复难”里的硬骨头。

问：为啥非拿这篇论文说事儿？

答：但凡上手做过RAG的朋友，十有八九都踩过这个坑——召回来的内容明明看着挺像那么回事，但里头夹带着错误引导，或者充斥着大量无用信息。这时候，模型到底该听谁的？是信自己脑子里的知识，还是信你塞给它的上下文？今天这篇《How faithful are RAG models? Quantifying the tug-of-war between RAG and LLMs’ internal prior》，正好就是来解剖这个问题的。

论文分析

这篇论文把目光聚焦在一个非常“要命”的问题上：当大语言模型（LLMs）自己的内部知识（先验），跟检索回来的外部信息（参考信息）杠上了，模型会怎么办？作者通过一系列实验，把这种内外知识冲突给量化了，还分析了不同情境下模型的表现和应对策略。

主要发现

1. 依赖错误信息
   ：当模型对自己的内部知识拿不准（先验较弱）时，它会更倾向于跟着参考信息走，哪怕这信息是错的。简单说就是，你给了它一个错误答案，它大概率会跟着念。

2. 抵抗错误信息
   ：反过来，如果模型对自己学到的知识非常笃定（先验很强），就算你硬塞给它错误信息，它也会选择忽略，坚持自己的正确答案。

3. 提示策略是关键变量
   ：你给它下的“指令”不同，结果也天差地别。如果你用“严格提示”，强迫模型必须按参考信息来，那模型基本是照单全收。但如果你给的是“宽松提示”，让模型自己权衡，它就有了抵抗错误信息的余地。

实验结果

在六个不同领域的数据集上跑完实验后，结果挺直观的：

• 准确率飞跃
  ：不给参考信息时，模型回答的平均准确率只有34.7%；一旦加上参考信息，准确率直接飙到94%。这说明RAG这套路确实管用，前提是信息得靠谱。

• 错误信息依赖
  ：当参考信息里掺了假时，模型在自己不太确定的领域（先验弱），有20%的概率会直接重复那些错误答案。

• 先验概率的杠杆效应
  ：当模型对某个答案的先验概率只有0.1时，它选择参考信息（RAG偏好率）的比例高达70%；而当先验概率涨到0.9时，这个偏好率立刻降到30%。数值上的对比一目了然。

• 提示策略的威力
  ：如果下的是“死命令”（严格提示），模型对参考信息的依赖率能到80%；但换用宽松提示后，这个比例就降到了50%。提示策略的影响力，比想象中大得多。

量化具体指标

为了把问题说清楚，论文里提了几个硬指标，方便大家以后量化分析：

1. 先验概率（Prior Probability）
   ：模型在没任何参考信息时，对自己答案的自信程度。通过计算每个token的概率得出，范围在0到1之间。数值越高，说明模型对这个答案越有把握。

2. RAG偏好率（RAG Preference Rate）
   ：在有参考信息的情况下，模型选择参考信息而非自己内部知识的比例。这个数字能直接反映模型有多“听话”。

3. 准确率（Accuracy）
   ：模型回答与标准答案一致的比率，这个不用多说。

4. 错误信息依赖率（Error Dependence Rate）
   ：当参考信息是错误时，模型重复错误的概率。这是个很关键的负面指标。

5. 提示策略影响指数（Prompt Strategy Impact Index）
   ：衡量不同提示策略对模型依赖参考信息程度的影响变化。

规避方案

知道问题的根源在哪儿了，那接下来就是怎么绕开它。论文给出了几个很务实的建议：

1. 增强模型先验
   ：打铁还需自身硬。通过增加高质量的训练数据、优化训练方法，让模型本身的内部知识更准确、覆盖面更广。这样一来，模型对正确答案的“底气”就更足，自然不容易被带偏。

2. 优化提示策略
   ：别把模型当成只懂执行的工具人。在提示词里留出权衡空间，明示或暗示模型“参考信息只是参考，不是圣旨”，鼓励它在内部知识和外部信息之间做判断。最好的办法是通过实验找到最适合你场景的提示方式。

3. 过滤参考信息
   ：这是最直接也最笨的方法，但往往最有效。在把检索结果喂给模型之前，先做个严格的筛选和验证，把不靠谱的、无关的内容筛掉。源头干净了，后面的事儿自然就顺了。

结论

内外知识冲突，是RAG系统里避不开的坎儿，但也不是没法子。通过量化这种冲突、摸清模型的脾气，再配合针对性的规避手段，完全可以把系统的可靠性和准确性再提上一个台阶。理解并控制模型对内外信息的依赖关系，才是优化RAG系统设计的关键所在。