LLM下的「幻觉」vs「泛化」

# 导读 先分享一个最近在 Hacker News 上看到的有趣讨论——一篇关于大语言模型幻觉问题的论文，竟然让不少开发者聊着聊着就拐进了哲学领域。这篇论文的标题直白得很：《**幻觉不可避免：大型语言模型的内在局限性**》（*Hallucination is Inevitable: An Innate Limitation of Large Language Models*），由新加坡国立大学计算学院的 Ziwei Xu、Sanjay Jain 和 Mohan Kankanhalli 联合撰写。核心论点很明确：大语言模型中的幻觉根本没法彻底消除，哪怕现有的各种幻觉缓解手段一起上，也解决不了这个问题。 如今各大模型厂商都在使尽浑身解数，幻觉缓解技术层出不穷。而在严重依赖模型输出的决策场景中——比如医疗诊断、法律咨询这类高风险领域——开发者往往会采取更保守的策略：限制模型的自主生成行为，或者在拿不准的情况下干脆拒绝回答。但问题来了：如果幻觉真的无可避免，那以后岂不是都要靠概率吃饭？接下来，咱们一起拆解这篇论文，看看幻觉背后到底藏着什么真相。 ## 到底什么是幻觉？ 现有研究从数据、训练到推理的各个环节，都已经揭示了不少大模型产生幻觉的原因。但关于“幻觉到底能不能彻底消除”这个问题，学界至今没有定论。这其实关系到理解大模型能力极限的核心命题——可问题是，我们不可能穷尽所有可能的输入来测试，单靠经验方法很难给出答案。 于是论文作者干了一件事：先正式定义什么是幻觉，然后用数学证明——**要在大型语言模型中彻底消除幻觉，基本不可能**。他们构建了一个形式化框架，把幻觉定义为大模型与真实世界可计算函数之间的不一致。结合学习理论的研究成果，他们展示了：大模型无法学习所有可计算的函数，因此幻觉必然会存在。既然现实世界的复杂性远超形式化世界，这个结论对于真实场景下的大模型同样适用。 更进一步，针对受时间复杂度限制的现实大模型，他们专门设计了一些容易诱发幻觉的任务实例，并拿出了实验证据来支撑这个判断。最后，基于这个形式化框架，他们还讨论了现有幻觉缓解策略的内在机制，以及这些策略对大模型安全、有效部署的实际影响。 **幻觉的基本概念与定义** 在心理学和神经科学领域，幻觉指的是个体在没有外部刺激的情况下感知到并不存在的东西。而放在大语言模型这个语境下，幻觉就被定义成模型产出了与事实不符或者完全没有意义的信息。这些输出听起来好像很有道理，但其实是虚假的。 **幻觉在大型语言模型中的具体表现** 大模型中的幻觉，可以分为**内在幻觉**和**外在幻觉**两类： - **内在幻觉**：模型的输出跟它收到的输入互相矛盾，比如跟提示信息对不上。 - **外在幻觉**：模型的输出没法靠输入信息来验证真假。 除此之外，从用户指令一致性的角度，还可以把幻觉分成指令性、上下文性和逻辑性不一致。这些幻觉现象的根源，往往藏在数据收集、训练和推理的各个环节——比如启发式数据收集导致偏差、不完美的表示学习、解码错误、暴露偏差，还有参数知识本身的偏差。 ## 用数学定义现实世界！ 为了搞清楚大模型为什么容易产生幻觉，研究者首先做了个事情：用数学把“整个世界”形式化。在这个形式化框架里，幻觉被定义为“计算机能实现的大模型”与“可计算的真实函数”之间的不一致。实验的目标很直接——验证大模型到底能不能学会所有可计算的函数，从而总是输出跟真实函数一致的结果。换句话说，就是**用数学的方式来解释幻觉**。 实验中，研究者借助学习理论的结果，证明了**大模型学不会所有可计算的函数，所以幻觉必然会出现**。 **定义 1（字母表和字符串）：** 字母表A是一个包含N个标记的有限集合A={a0, a1, ..., aN-1}。字符串是通过n次连接标记得到的序列w0, w1...wn-1。 **定义 2（大模型）：** 设S为字母表A上所有有限长度字符串的可计算集合b，(s0, s1, ...)为其元素的一一对应枚举。大模型h被记为一个函数，能在有限时间内使用预测令牌h(s)完成输入字符串s∈S。函数h通过一系列输入-完成对的训练样本程序性地获得。 **定义 3（P验证的大模型）：** 设P为一个可计算算法，当函数具有特定属性（比如全可计算性或多项式时间复杂度）时返回“真”。P验证的大模型就是按定义2所述的大模型，可以在有限步骤内被P证明具有该特定属性。 根据定义3，P可证明的大模型构成了所有大模型的一个真子集。作者将大模型视为全体可计算函数的一个子集。不同于一般的全体可计算函数，大模型可以根据输出结果合理性的程度，划分成一个连续谱：在“无意义”的一端，是一个无感知的标记预测器，只会对输入字符串s生成毫无意义的补全；而在“理想”的一端，是一个无幻觉函数，能把任何结构良好的输入字符串补充成合理且真实的文本。注意，“理想”这一端用了虚线表示——因为**它要说明的是，任何大模型都无法达到这个理想状态，所以压根不在大模型集合里**。介于两者之间的，就是现实世界的大模型：大多数时候输出还算说得过去，但偶尔会“犯幻觉”，生成一些不真实的陈述。 在这个形式化世界里，幻觉被定义成大模型输出与“理想”正确结果之间的不匹配。而这个世界里，存在一个可计算的真值函数f，它对所有输入字符串s∈S都能产生唯一正确的补全f(s)。形式化世界的定义如下： **定义 4（形式化世界 f）：** 对于给定的真值函数f，它的形式化世界Gf={(s, f(s)) | s ∈ S}是一个集合，其中对于任意输入字符串s，f(s)是唯一的正确补全结果。 训练样本T则是一组从形式化世界中获得的输入-输出配对。 **定义 5（训练样本 T）：** 训练样本T是一个集合{(s0, y0),(s1, y1), ..., (si, yi), ... | si ∈ S, i ∈ N, yi = f(si)}。这个集合代表了真值函数f对输入字符串如何回应或完成的概括。 当训练好的大模型h没能完全复制真值函数f的输出时，我们就说这个模型相对于f发生了幻觉。 **定义 6（幻觉）：** 如果存在s∈S使得h(s) ≠ f(s)，则模型相对于真值函数f出现幻觉。 基于这个定义，幻觉不再跟真实世界里的正确性或真实性直接挂钩，而是指大模型Gh所构建的形式世界，与它所对应的真值函数Gf的形式世界之间的不一致。Gh和Gf之间可能存在三种关系： - **完全幻觉：** Gh ∩ Gf = ∅，即大模型在所有s∈S上都在犯幻觉。 - **部分幻觉：** Gh ∩ Gf ≠ ∅且Gh ≠ Gf，即大模型只在部分s∈S上产生幻觉。 - **无幻觉：** Gh = Gf，这才是针对f无幻觉的理想模型。 接下来进入训练环节。 **定义 7（基本问题）：** 对于任何给定的真实值函数f，能否通过使用训练样本集T来训练一个大模型h，使得对于所有s∈S，都有h(s) = f(s)？ **定义 8（大模型的训练与部署）：** 大模型h通过以下可计算实现的步骤进行训练和部署。 输入：一系列无限或大量且连续流入的训练样本流T，表示为T = ((s0, f(s0)), (s1, f(s1)), ...)，每个样本对由字符串si和对应的真值函数f(si)组成。 输出：经过训练后的大模型h[i]，期望该模型在某次迭代i∈N时能够近似或等同于f。 训练过程：将大模型初始化为参数随机分布的模型，记为h[0]。设置迭代计数器i为0。 训练与验证迭代：(a) 如果达到停止准则（即模型已准备好），则结束当前迭代。(b) 从训练样本流T中取出一对样本数据(si, f(si))。(c) 根据至今为止的所有样本{(sj , f(sj )) | j ≤ i}更新大模型h[i]至h[i+1]。(d) 让迭代计数器i递增，即i ← i + 1，并返回继续训练。 部署阶段：将最终训练得到的模型h[i]作为最终模型h进行部署，并结束整个训练程序。 实验结果表明，**无论模型架构、学习算法、提示技术还是训练数据怎么变，大模型在形式化世界里总是不可避免地会产生幻觉**。既然形式化世界本来就是真实世界的一部分，这个结论自然也适用于真实世界的大模型。而且实证研究也证实，哪怕是最先进的大模型，在一些真实世界问题上也照样会犯幻觉，这就验证了理论结果的有效性。 ## 无法彻底解决的幻觉，应该如何缓解？ 目前减轻大模型幻觉的方法，主要依据两条原则：**提升大模型能力，同时通过训练样本或归纳偏置，给大模型喂更多关于真实世界的知识**。具体操作包括增大模型参数和训练数据量来增强模型的复杂性，或者采用检索增强技术、优化提示策略以及引入新的解码方法来减少幻觉。但别忘了，这些措施都有各自的局限——比如当大模型本身就没法捕捉到真实世界的函数时，单纯堆参数和训练数据是没用的。 尽管各方都在尝试各种减轻幻觉的手段，但已有研究明确指出了：在形式化世界里，大模型产生幻觉是躲不掉的，这意味着在现实世界里也根除不了。所以未来的研究路径可能要转向几个方向：深入探索幻觉的本质特征、如何控制和降低幻觉的程度，以及研发能检测并纠正幻觉的外部知识库和推理工具。与此同时，搞清大模型的安全边界，对于确保模型的持续健康发展来说也非常重要。 在实际应用中，大模型在关键决策支持方面确实存在明显局限。因为模型在处理某些问题时会产生幻觉——生成表面上合理但实际不准确甚至无意义的信息——这种现象在关键决策过程中可能带来严重后果。比如医疗诊断、金融风险评估或法律咨询这类场景，如果过度依赖大模型的输出，错误判断和决策的风险就会大大增加。 大模型的幻觉现象还可能带来一些社会伦理层面的潜在影响。模型生成的内容里可能包含偏见、误导信息或不准确的事实，这些输出一旦传播开来，就有可能误导公众、影响社会观念和行为。举个例子，在生成新闻摘要或历史事件描述时，大模型可能在不经意间传播错误信息，从而扭曲大家对事件的理解和记忆。在创作文学作品或艺术创意时，大模型虽然能生成独特但未必真实的素材——这有时候被看作一种创新，但同时也可能引发关于版权、原创性和真实性的争议。 说到底，**这篇论文揭示了一个核心事实：幻觉问题是大型语言模型内在固有的，根本没法完全消除**。看清了这个前提，未来的研究重点就应该转向如何减轻幻觉现象带来的影响，同时在确保安全可靠的前提下，最大限度地发挥大模型的优势。 以上，通过一篇在Hacker News上引发激烈讨论的幻觉问题论文，我们从数学形式化定义的角度尝试阐释了关于模型幻觉的一些观点。为了更进一步探索和理解背后的“幻觉”问题，接下来不妨一起对“幻觉”和“泛化”这两个概念做一些更深入的延展性思考。 ## 幻觉 vs 泛化？ 如果你读过我们之前那篇「融合RL与LLM思想，探寻世界模型以迈向AGI」系列的“中篇”，可能还记得里面尝试探寻RL与LLM本质时提到的那个问题。当时为了探索LLM走向AGI的过程中，与强化学习认知模式的融合，再到LLM自回归学习与RL模式的本质探寻，我们尝试提出并阐释了关于**认知本身的基于Tokenize世界中构象或分布的Pattern映射表征**。在后续的系列合订本中，还尝试用微分几何、微分拓扑和数据科学等学科中的数学概念来描述这些观点——包括计算共形几何、数据流形嵌入，再到认知流形的分布等。 敏锐的读者可能已经注意到了，在这些阐释中，“泛化”这个概念其实多次隐含出现。而“泛化”本身，恰好可以通过流形分布来进行数学抽象描述——这在某种程度上也是大语言模型或其他深度学习模型呈现出“涌现”的基础。 美国纽约州立大学顾险峰教授创立的跨领域学科“计算共形几何”里，关于流形分布理论有一个经典观点：在深度学习领域，一个自然的数据集可以被视为一个流形上的概率分布，这被称为**流形分布定则**。我们将观察到的每个样本看成原始数据空间中的一个点，大量的样本就构成了原始数据空间中的一片稠密点云。这片点云在某个低维流形附近，这个流形就被称为**数据流形**。点云在数据流形上的分布并不均匀，而是满足特定的**分布规律**，被表示成数据**概率分布**。 顺着这个思路，自然会冒出两个问题： 1. 为什么数据点云是低维的，而不是占满整个原始数据空间？ 2. 为什么点云集合是流形？换句话说，为什么它是局部连续光滑的？ 第一个问题的答案是：因为自然现象满足大量的自然规律，这些规律的限制降低了数据样本点云的维数，使它没法占满整个空间。举个人脸照片的例子：我们考察所有自然人脸照片构成的数据集，每个采样点是一张图片，像素个数乘以3就是原始图像空间的维数。原始图像空间里的任意一点都是一幅图片，但只有极少的图片才是人脸图片，才会落在这片“人脸图片流形”上。人脸得满足不少自然的生理学规律——每个规律都在降低数据流形的维数。比如左右对称这一条，就减少了近一半的像素；五官这种确定的几何与纹理区域，每个器官形状类似，描述参数不多，所以维数进一步降低。最终控制人脸的基因其实非常有限，人脸图片流形的维数自然远低于图片像素个数。 再比如观察平面区域的稳恒态温度分布——根据物理热扩散定理，稳定函数满足经典的Laplace方程，由它的边界值唯一决定。假设我们在区域内部有n²个采样点，在区域边界有n个采样点，那么每个观察到的温度函数被表示为维数为n²的向量（原始数据空间维数就是n²），但实际流形的维数只是边界函数的维数n。由此可见，满足物理定律的观察样本所构成的数据流形，维数远远低于原始数据空间。 **在认知领域中，可以比较自然地把数据流形扩展到认知流形的范畴中来——因为认知流形的表征，某种程度上也是数据概率分布的一种形式。这包括对世界自然运行规律的流形分布表征，比如物理运动机制通过计算机视觉（CV）和Sora进行的模拟，围棋等博弈类对弈通过强化学习进行的决策，以及科学领域的问题探索或复杂的数学证明通过AI4S数据驱动范式进行的复杂Pattern映射推理——所有这些背后，都是某种流形的嵌入或表征。而这些物理的、逻辑的过程，最终又被人类认知行为所纳入和掌握。** 第二个问题的答案，顾险峰教授给出了这样的解释：绝大多数情况下，物理系统是适定的。不过在临界状态下，物理系统会发生突变（由灾变理论或临界态理论来描述）。物理定律大多由偏微分方程系统来描述，方程的解由初始值和边界值控制。系统是适定的，这意味着因为能量守恒、质量守恒、能量传递小于光速等物理限制，初边值逐渐变化时，解也会随之逐渐变化。在偏微分方程的正则性理论中，这意味着边值的索伯列夫范数控制了解的索伯列夫范数等等。我们把解看作数据流形上的点，边值看作对应局部坐标（即隐空间中的对应隐特征向量）。从数据流形到隐空间的映射叫编码映射，从隐空间到数据流形的映射叫解码映射。正则性理论保证了编码和解码映射是连续的乃至光滑的，而解的唯一性保证了这些映射是拓扑同胚或微分同胚。边值可以任意局部扰动，这意味着隐变量存在一个开欧式圆盘的邻域。这样一来，满足特定物理定则的观察样本就构成了数据流形。 以Sora为例，它的训练集是短视频集。同类短视频构成一个数据流形。Sora先把它们编码到隐空间进行降维，然后在隐空间里把隐特征向量切割成补丁，加上时间顺序，构成时空补丁——也就是时空令牌（time-space token）。这里“时空”的概念比较关键：每个令牌的短视频帧序列号（时间）和当前帧的行列序号（空间），都被记录在令牌里。 在流形分布理论框架下，我们也能看到深度学习训练与推理方面的一些前沿探索。比如通过构建灵活的**模型来表示概率分布，一直是人工智能领域长期以来的目标**。**受不确定性下可靠决策的需求驱动**，早期努力方向是构建能够进行**可处理概率推断的有效模型**[Koller and Friedman, 2009]和算法[Chow and Liu, 1968; Welch et al., **1995**]。近年来，已经开发了几种描述概率分布的可处理生成模型，这些模型以**图的形式描述**，例如割集网络[Rahman et al., 2014]、算术电路[Darwiche, 2003]和和积网络[Poon and Domingos, 2011]。 对于一个**可处理概率模型**而言，一个近似概率分布P(X)的生成模型θ在给定概率推理任务Q上是可处理的，其中Q = f(Pθ(X))，只要**Q可以在模型大小的多项式时间内计算出来。所以可处理性是由推理任务（或者说f的性质）和θ的性质共同决定的一个光谱**。在现实生活中利用概率生成模型（Pθ(X)）**做决策通常需要查询模型，以推断底层分布的属性，或提取由其随机变量定义的事件所关联的不确定性**。标准化流 Normalizing Flows（NFs）就是这类深度生成模型之一，通过利用变量公式和可逆变换在连续空间上构建灵活的概率分布。 特别地，Choi等人[2020]将概率电路（PCs）引入为一个统一的概念，涵盖了以计算图形式描述概率分布的模型——如割集网络[Rahman等，2014]、算术电路[Darwiche，2003]和和积网络[Poon和Domingos，2011]。后续研究展示了如何学习（部分）PCs[Gens和Pedro，2013；Peharz等，2016；Trapp等，2019]，以及如何增加它们的灵活性[Molina等，2018，2017]、可靠性[Deratani Mauá等，2018]和可扩展性[Peharz等，2020b,a；Dang等，2022；Liu等，2023]。不过，尽管这些PCs是可处理的，但它们的表达能力仍然弱于深度生成神经模型（DGMs）——比如GANs[Goodfellow等，2014]、VAEs[Kingma和Welling，2014]和归一化流（NFs Normalizing Flows）[Tabak和Turner，2013；Papamakarios等，2021]。其中，NFs最近因为使用可逆函数而备受关注，这使得最大似然训练成为可能，从而产生了更稳定的模型，避免了深度生成模型中的模式崩溃和梯度消失问题。但话又说回来，这些深度模型虽然功能强大，在执行可处理模型PCs擅长的推理任务时却效率不高。 —— **也许“幻觉”与“泛化”的问题，需要一起在从原始高维空间→低维流形空间的变换中寻找答案；** **也许“幻觉”与“泛化”在高维原始空间→低维流形空间的过程中，属于两种截然不同的变换模式；** **也许只有站在更高维、更大尺度的原始空间里进行低维流形的变换，才有望在一定程度上解决“幻觉”和增强“泛化”——而这里的“解决幻觉”与“增强泛化”，本质上也许是同一回事；** **也许……** 这些思考，欢迎各位读者留言讨论。