ACL | LLM+RAG可能要毁了信息检索，一份深入研究

：[ACL2024] Spiral of Silence: How is Large Language Model Killing Information Retrieval?—A Case Study on Open Domain Question Answering
：https://arxiv.org/pdf/2404.10496

研究背景

大型语言模型的崛起，正在悄然改变我们获取信息的方式。但有没有想过这样一个问题：当越来越多的互联网内容变成AI生成文本，人类原本的创作和观点表达会不会被逐渐“挤”出搜索结果的视野？这篇论文正是从这个角度切入，系统研究了LLM生成文本对检索增强生成（RAG）系统造成的短期与长期影响。它关注的核心现象，可以归结为一个社会学中耳熟能详的概念——“沉默螺旋”。

研究难点在于：LLM生成文本的传播速度极快，搜索引擎的索引会迅速收录它们，并反馈到后续的检索与生成过程中。这种闭环效应如何量化？错误信息如何沿着这个链条扩散？这些都缺乏成熟的评估框架。相关领域的工作已经不少：RAG系统本身的检索机制分析、AIGC对信息生态的冲击研究，以及“沉默螺旋”理论在数字环境下的延伸应用。但将这三者串联起来，系统模拟LLM文本如何一步步侵蚀人类内容地位的研究，此前尚属空白。

研究方法

为了回答这个问题，论文构建了一套迭代管道，模拟LLM生成文本逐步渗透到检索系统中的全过程。可以把RAG系统看作一个函数，它接受查询集合和文档集合，借助LLM的知识库，最终输出生成文本。整个流程分成两个核心阶段：检索阶段和生成阶段，分别由检索函数和生成函数实现。

模拟从纯人类生成文本的数据集开始，然后分步引入LLM生成的文本，观察RAG系统的表现如何变化。具体步骤是这样的：

• 先建立基线：用初始数据集跑一遍RAG管道，记录性能基准。
• 再将LLM生成的零样本文本加入数据集，形成新的混合数据集。
• 对每个查询，用检索函数获取一个文档子集，并进行重排。
• 然后让LLM基于这些文档生成答案文本。
• 接着做后处理，去掉可能暴露LLM身份的文字痕迹。
• 最后把生成的文本重新加入数据集，更新索引。
• 重复以上步骤，直到达到预设的迭代次数。

这套流程的关键在于：每一次迭代，LLM生成的文本都会成为下一次检索的一部分，形成一种自我强化的循环。

实验设计

实验选用了开放域问答（ODQA）领域最常用的几个数据集：NQ、WebQ、TriviaQA和PopQA。检索阶段用Acc@5和Acc@20来衡量效果，生成阶段则采用Exact Match（EM）指标。检索和重排方法覆盖了从稀疏模型到密集检索的多条路线：BM25、Contriever、BGEBase、LLMEmbedder等；重排器则包括MonoT5-3B、UPR-3B和BGEreranker。生成模型方面，论文综合使用了GPT-3.5-Turbo、LLaMA2-13B-Chat、Qwen-14B-Chat、Baichuan2-13B-Chat和ChatGLM3-6B，覆盖了主流的中英文大模型。

结果与分析

：LLM生成文本的引入，立刻对检索和生成性能产生了冲击。检索准确性普遍提升，但QA性能的表现却好坏参半。举个例子，在TriviaQA数据集上，使用BM25的Acc@5提升了31.2%，Acc@20提升了19.1%。看起来是好事？但生成阶段的EM值并没有跟随检索精度的提高而同步增长，甚至在部分场景下出现了下降。这说明检索到的文档质量虽然提高了，但内容可能更偏向LLM生成的“标准答案”，反而挤压了人类给出的多样化回答空间。

：随着迭代轮次增加，情况发生了变化。检索有效性开始持续下降。在NQ数据集上，从第一次迭代到第十次迭代，Acc@5平均下降了21.4%。一个值得注意的细节是：尽管检索准确性在下降，QA性能却表现得相当稳定，EM值虽然有小幅波动，但总体维持住了原有水平。这暗示LLM已经学会“自我依赖”——即使检索到的文档质量变差，它依然能凭借内部知识生成看起来不错的答案。

：这才是论文最核心的发现。检索模型在排序时，会逐渐倾向于优先排列LLM生成的文本。

经过十次迭代后，人类生成文本在所有数据集中的占比都降到了10%以下。换句话说，搜索结果里每十条内容中，可能只有一条是真人写的。随着时间推移，观点的同质化趋势愈演愈烈——检索结果的多样性和准确性双双下滑。

总体结论

这篇论文通过一套精心设计的模拟实验，揭示了LLM生成文本对RAG系统造成的“沉默螺旋”效应。短期看，LLM文本确实提升了检索的命中率；但长期而言，它正在悄无声息地边缘化人类创作的内容，推高信息的同质化风险。研究呼吁学术界正视这个问题，在享受大模型便利的同时，必须为数字信息环境的多样性和真实性守住底线。

AI辅助人工完成。