大语言模型知识冲突的综述

关于大语言模型的可靠性，有一个问题越来越被学界和业界重视——那就是知识冲突。简单来说，当模型已有的“记忆”和最新获得的“信息”打架，或者它自己内部的“知识”本身就自相矛盾时，模型会怎么反应？是固执己见，还是轻易被骗？抑或是能做出明智的判断？

最近，一篇由清华大学、西湖大学和香港中文大学的研究者共同完成的综述论文《Knowledge Conflicts for LLMs: A Survey》对这个问题做了系统性的梳理。这篇综述不仅清晰地划分了知识冲突的几种类型，更深入剖析了其成因、模型行为以及潜在的解决方案。可以说，它为我们理解大模型在复杂信息环境下的“挣扎”与“抉择”，提供了一份宝贵的地图。

一、知识冲突全景图：三种类型与一个核心

我们先来厘清核心概念。大语言模型的知识来源主要有两种：一是固化在模型参数中的“参数化知识”（Memory），来自海量的预训练数据；二是在推理时临时输入或检索得到的“上下文知识”（Context），比如用户的提问、对话历史、从网上搜到的文档等。

当这两种知识来源出现不一致，麻烦就来了。论文将这种不一致性归纳为三类知识冲突，如图1所示：

图1：三类知识冲突示意图。冲突可能发生在上下文与记忆之间（CM），不同上下文之间（IC），以及记忆内部（IM）。

1. 上下文-记忆冲突
   ：这是最直观的一类。比如你问模型：“现任法国总统是谁？”模型参数里记得是“马克龙”，但你提供的上下文却说“是勒庞”。模型该信谁的？

2. 上下文间冲突
   ：当模型同时参考多个外部文档时，这些文档本身可能互相矛盾。一个文档说某事件发生在春天，另一个说在秋天，模型该如何取舍？这在RAG（检索增强生成）场景下尤为常见。

3. 内部记忆冲突
   ：最棘手的一种，矛盾出在模型自己身上。这可能因为预训练数据本身就包含不一致的信息（比如不同来源对同一事实描述不同），也可能因为知识编辑或模型解码的随机性，导致对同一个问题的不同问法，模型给出了完全不同的答案。

论文将知识冲突置于一个动态的生命周期中来审视（如图2）。它既是各种原因（如数据噪声、时间错位）导致的结果，也是引发模型不良行为（如幻觉、不一致）的直接原因。

图2：知识冲突连接了成因与模型行为，是理解和解决问题的关键枢纽。

二、深入冲突现场：原因、行为与对策

1. 上下文-记忆冲突：当新旧知识狭路相逢

这类冲突研究最广，核心矛盾在于模型静态的“记忆”与动态变化的“世界”之间的错位。

：一是。用旧数据训练的模型跟不上新事件，这是自然衰减。二是。对手可能故意在检索文档或用户输入中注入虚假信息，诱导模型“学坏”。

研究结果并不统一，凸显了问题的复杂性。早期研究认为模型过于依赖自身记忆，忽视冲突上下文；但近期的发现恰恰相反，模型有时又会对连贯的、有说服力的外部证据过于“轻信”。更有趣的是，模型还表现出强烈的“确认偏误”，即偏爱那些符合自己已有认知的信息。面对冲突，让模型精准定位矛盾点并给出明确答案，目前对它们来说依然是个难题。

解决方案取决于我们希望模型“忠于”谁：

• 忠于上下文
  ：适用于需要模型严格遵循给定资料的场景。方法包括知识感知微调、上下文感知解码等，核心是放大上下文的影响权重。

• 忠于记忆
  ：旨在提升模型对错误信息的“免疫力”。可以通过提示工程让模型保持警惕，或者训练专门的鉴别器来筛查可疑信息。

• 分离来源
  ：不强行融合，而是让模型分别给出基于上下文和基于记忆的答案，把判断权交给用户。

• 追求事实性
  ：终极目标，即整合所有可用信息产出最真实的答案。这需要更精巧的架构设计，比如利用对比解码来校准模型信心。

2. 上下文间冲突：信息洪流中的真相泥潭

在RAG大行其道的今天，模型经常需要消化一堆来源各异、质量参差不齐的文档。它们之间的“打架”就是上下文间冲突。

：和。网络上充斥的假新闻或陈旧资料，被检索进来后就形成了相互矛盾的证据。

研究发现，模型在这种混乱中往往表现不佳。它们容易受到错误信息攻击，而且偏好那些与自身记忆一致、或者与查询直接相关、甚至仅仅是出现频率更高的上下文。更麻烦的是，它们识别矛盾的能力也很有限，尤其当冲突涉及主观观点时，准确率更是堪忧。

：一是专注于，即直接检测并处理矛盾信息，可以训练专门模型，也可以为通用大模型配备事实核查工具链。二是设法，通过微调或查询增强等技术，让模型在冲突上下文中依然能做出相对可靠的判断。

3. 内部记忆冲突：自己与自己打架

这是最体现模型“内在矛盾”的一类。你换种方式问同一个问题，它可能给你截然不同的答案，严重损害了可靠性和实用性。

：

1. 训练数据偏差
   ：预训练语料本身质量不一、充满噪声甚至矛盾，模型全盘“吸收”后，内部知识自然一团乱麻。

2. 解码策略
   ：生成时的随机抽样会引入不确定性，导致输出波动。

3. 知识编辑
   ：后期修改模型知识时，如果编辑不一致或泛化性差，会在参数中制造新的冲突。

最直接的就是。研究表明，即便是顶尖模型，在常识问题上也可能有百分之十几的不一致率。深层原因在于，知识在模型内部的表示是分散且分层的（浅层存句式，深层存语义），有时正确的知识虽然存在，却在生成时没有被正确激活。更有甚者，模型对不同语言版本的知识记忆也可能是割裂的，导致跨语言回答不一致。

：针对，可以通过设计一致性损失函数进行微调，或者采用输出集成等后处理方法。针对，则可以探索像DoLa这样的对比解码方法，通过调整模型不同层之间的激活差异，来引导模型输出更真实、更确定的内容。

最后，论文将所有知识冲突的分类及相应解决方案总结于图3，并整理了相关评估数据集，为后续研究提供了清晰的框架和工具。

图3：知识冲突分类及解决方案全景图。涵盖了从预防到应对的各种策略。

表1：评估知识冲突下模型行为的代表性数据集。针对三种冲突类型，研究者们构建了不同的测试基准。

写在最后

知识冲突不是大模型的bug，而是其能力边界在复杂现实世界中的必然体现。这篇综述系统性地揭示了，大模型并非全知全能的知识宝库，而更像一个需要在相互矛盾的信息碎片中不断权衡、推理甚至“挣扎”的决策者。

从时间错位到数据污染，从幻觉到不一致，每一个冲突点都对应着一个亟待攻克的技术挑战。而论文中梳理的各类解决方案——无论是通过训练增强鲁棒性，还是通过解码策略引导输出，抑或是通过架构设计分离知识源——都为我们指明了值得深入探索的方向。

说到底，让大模型学会如何优雅地处理“不知道”和“不确定”，或许比一味追求“全知道”，更能让它们走向真正可靠与可信的智能。这篇综述，正是迈向这个目标的重要一步。