RAE：一个专为大模型多跳问答设计的检索增强型知识编辑框架

大型语言模型在问答任务上表现越来越亮眼，但一个棘手的问题也随之浮现：怎么让这些模型跟上最新信息的变化？特别是处理多跳问题时，模型需要同时更新和整合多个知识点，这可不是件容易的事。现有的模型编辑方法面对这类场景往往束手无策——它们很难理清知识点之间的复杂关联，结果要么给出过时的答案，要么干脆答非所问。 **图1：一个传统基于相似性搜索未能检索到LLM编辑正确事实的例子** 针对这个痛点，研究人员提出了一种新的思路——检索增强型知识编辑框架（RAE），专门用来攻克多跳问答中的知识更新难题。RAE的核心逻辑分两步走：第一步，通过基于互信息最大化的检索方法，精准定位那些已经被编辑过的事实；第二步，利用上下文学习对模型进行微调。这个检索方法巧妙借用了LLMs自身的推理能力——通过识别“链式事实”，弥补传统相似性搜索容易遗漏的关键信息。此外，RAE还内置了一套剪枝策略，自动剔除检索结果中的冗余内容，既提升了编辑准确性，也减少了模型“胡编乱造”的可能。 **图2：检索增强型上下文模型编辑方法的整体框架** 图2展示了整个框架的运作机制，几个关键部件值得展开说说： 1. **外部知识图谱**：这里存放着所有编辑过和未编辑的事实，相当于一个知识仓库，为检索提供源源不断的弹药。 2. **基于互信息的检索**：通过最大化当前问题和检索到的子图之间的互信息，精准锁定与问题最相关的那一小块知识子图。 3. **冗余知识剪枝**：利用编辑不确定性来评估检索到的事实集，果断剪掉那些会让模型输出变得不确定的冗余或不相关事实。 4. **上下文学习编辑**：把剪枝后得到的、与问题最相关的事实集喂给模型，配合编辑模板，靠LLMs的上下文学习能力生成准确答案。 5. **编辑模板**：一种精心设计的提示结构，指导模型如何把问题和事实串起来，输出正确结果。 为了验证这套框架的实际效果，团队在不同大小的语言模型上做了一系列全面评估。实验结果很说明问题：在处理多跳问题时，RAE相比现有基线方法，能显著提升编辑后模型输出的准确性。 **图3：在MQUAKE数据集（MQUAKE-CF和MQUAKE-T）上的编辑准确率（%）** **图4：多跳事实检索准确率（%）比较** **图5：编辑事实检索和剪枝的案例研究。** 检索过程涉及使用波束搜索，从查询实体开始，通过知识图谱进行导航，使用两个波束。在每个实体跳转中，两个主要候选边（波束）被加粗显示，其他的被丢弃并用虚线表示。用红色强调最终的波束搜索结果。 更详细的技术细节可以参考原始论文：https://arxiv.org/pdf/2403.19631.pdf