为什么生成式大模型做不到100%的精准度？

今年1月，微软几位学者发了一篇论文，题目挺长：《“RAG与微调：流水线、权衡与农业案例研究”》。核心就是探讨如何把特定领域的数据整合到大模型里——具体说，是比较检索增强生成（RAG）和微调这两种方法的效果。研究很有意思，选了个相对冷门的行业：农业。他们设计了一套流水线，从PDF里提取数据、生成问答对，然后评估模型表现，用上了Llama2-13B、GPT-3.5和GPT-4。

先说结论：两种方法都能有效提升模型性能。微调把准确率拉高了6个百分点以上，在此基础上叠加RAG，又提升了5个百分点，最终能做到大概86%左右。当然，离100%还是有一段距离。

论文地址：
https://arxiv.org/pdf/2401.08406

如果去翻一翻那些大模型准确率的榜单，比如ScienceQA，表现最好的大模型准确率大概在96%上下。目前来看，大规模准确率评测中，还没出现能拿到100%的模型。

https://scienceqa.github.io/leaderboard.html

最近有个特别火的大模型翻车测试——问它“9.11和9.9哪个更大”，结果几乎所有大模型都栽了，连最强的GPT-4也不例外。数学题对大模型来说，简直是软肋。一个普通计算器不费吹灰之力就能给出正确答案，可大模型烧着几百亿参数折腾半天，反倒得出个错误答案。

这种准确率上的短板，直接限制了大模型在金融、医疗等领域的落地。这些场景对准确率的要求几乎是100%，因为失误的代价太大了。所以这些领域目前还是常规AI工具的天下。随着技术演进，大模型的准确率确实在稳步提升，但它终究能走到100%吗？

大模型的本质：有损压缩后的概率模型

在回答这个问题之前，不妨先读读下面这篇文章，它能帮我们看清语言大模型的本质：

《大模型：泛化即智能，压缩即一切？》

2024年2月28日，OpenAI核心研发人员Jack Rae在Stanford MLSys Seminar上做了一个主题分享，叫“Compression for AGI”。核心观点很明确：AGI的一个关键目标，是通过最小描述长度（MDL）原则来压缩信息。也就是说，模型应该用最简洁的形式表达观察到的现象，从而实现对世界的深刻理解和泛化。不过Rae也承认，目前的生成模型在处理复杂任务时还有局限，比如理解和处理多模态数据的能力有限。

OpenAI联合创始人兼首席科学家Ilya Sutskever，在多次讨论中强调了压缩和无监督学习的紧密关系。他认为，优秀的压缩器能识别和利用数据集中共享的模式，这和从无标签数据中发现结构的无监督学习过程很相似。他把无监督学习看作是对最优数据压缩的近似——大规模神经网络通过梯度下降训练，实际上就是在模拟这种最优压缩器。从这个角度看，压缩不仅是技术手段，更是推动人工智能能力极限的重要原则。

话说回来，用简单道理描述复杂世界，从来都是智慧的体现。程序员圈子里，大家都推崇用最简短的代码实现同样功能，压缩率越高往往意味着能力越强。我们还可以用经典例子来类比：计算1加到10000的总和，逐一相加效率极低，但用高斯求和公式就能直接出结果。这种公式化的压缩，大幅提升了计算效率，这正是人类高级智慧的结晶。

现代大语言模型也是在试图把海量语言数据压缩成一个能高效生成和理解语言的模型。这种高效压缩，不仅对提升模型性能至关重要，也为我们理解和发展这些模型提供了新视角。

特德·姜在著名文章《ChatGPT是网络上的一个模糊的JPEG文件》里，把ChatGPT比作有损压缩后的自然语言交互接口。这个比喻精准揭示了大语言模型的局限：尽管能高效生成语言，但压缩本质决定了它在处理复杂细节和精确信息时，可能会丢失关键信息。特德·姜的观点和Sutskever、Rae的理论形成了有趣对照——大语言模型在信息压缩过程中，不可避免地会丧失部分原始数据细节，从而导致某些情况下的误差。

有损压缩：信息的模糊和还原

有损压缩常见于图像和视频领域，比如把高分辨率图像压缩成体积更小的低分辨率版本。类似地，大语言模型在生成文本时，可能也在进行某种形式的有损压缩，以提高速度和效率，代价却是潜在信息的丢失。

有个有趣的实验：利用大模型的“图片生成文字”功能，对图像视频做极大压缩，再通过“文字生成图片”来还原。如果经常做这类实验，你会发现还原后的图片和原始图片始终有差异。这说明，大模型虽然能捕捉并再现信息的主要特征，但在压缩和还原过程中，细节不可避免地会丢失。这也是为什么通过大模型对话来微调生成图片时，很难精确控制图像走向。

双胞胎的DNA虽然完全相同，出生时外貌极其相似。通过基因检测，可以确定个体独特的DNA信息，得到一个极度压缩的特征；但仅凭DNA信息来预测个体的外貌和体型，却无法做到完全精准。因为双胞胎在成长过程中会经历不同环境、生活方式和经历，最终在外貌、性格和行为上产生显著差异。

这和语言模型中的有损压缩很像：模型通过概率分布计算实现信息压缩，还原信息时虽然会丢失一些细节或精确度，但仍然能生成总体上合理连贯的输出。

无损压缩：从现象总结为规律，再到推演预测

无损压缩的经典例子是把文本文件压缩为ZIP文件，压缩后的数据可以完全恢复原状。学者们发现，通过大语言模型进化的压缩算法可以实现更高效的压缩，这表明这些模型在本质上是一种高级的无损压缩器，能捕捉和保留数据中的重要结构和模式。

同样，通过事物的初始状态、数学公式、物理规律和逻辑推导来预测事物变化，也属于无损压缩的范畴。牛顿发现万有引力定律时，把复杂的天体运动现象压缩为一个简单公式，认为这个定律可以解释和预测宇宙中的一切现象。他坚信，通过他的数学公式和物理定律，所有自然现象都能被精确计算和预测。

爱因斯坦的工作无疑是科学史上最卓越的“压缩”案例之一。除了相对论，他晚年致力于统一场论研究，试图把电磁、强、弱和引力四种基本相互作用整合到一个统一的理论框架中。这种尝试代表了对自然规律更高级的抽象和压缩。爱因斯坦希望通过一个能描述所有基本相互作用的公式，实现对物理世界更深层次的理解和简化。

大模型为什么做不到极限的无损压缩？

下图展示了常见大模型的参数量与训练数据量的关系。可以看出，不同模型的压缩率差异显著，尤其是一些参数量较小的模型，往往表现出更高的压缩率。这意味着较小的模型通常使用更模糊和抽象的概率分布来模拟原始信息。

由于这些模型在参数量有限的情况下进行信息压缩，它们在还原训练数据中的细节时，准确性往往会降低。这种高压缩率有助于提升效率，但也不可避免地导致信息丢失，使得模型在处理复杂或细节丰富的任务时表现出局限。这表明，有损压缩虽然能提高处理速度和存储效率，但在保持信息完整性方面仍面临挑战，自然也就不可能达到100%的准确率。

我们经常看到，大模型在处理事实性问题时容易出错，比如某年某月的新闻事件，或某个名人的出生年月日及人物关系。因为这些事实性内容往往是高度具体的、唯一性的信息，很难通过压缩算法有效处理。比如每个人物姓名与身份证号码的匹配关系，信息量极高且唯一，几乎不可能被压缩，只能逐一记忆。

单纯的记忆并不是大语言模型的强项。对于这些事实性内容，AI大模型实际上并不比传统搜索引擎或数据库更有效。传统搜索引擎和数据库擅长存储和快速检索精确信息，而大语言模型更侧重于语言生成和模式识别。因此，在处理涉及精确数据的任务时，大模型可能会因为信息压缩和泛化的需求导致细节丢失或错误。相比之下，搜索引擎和数据库能更可靠地提供精确事实信息，尤其面对大量细节时。

大模型无法正确回答“9.11和9.9哪个更大”，很可能是因为训练过程中缺乏大量数学题目。即便有些数学计算，也不可能涵盖所有数学问题。此外，模型的概率分布可能被大量非数学信息干扰。如果9.11和9.9在训练数据中经常作为版本号出现，模型就可能认为9.11比9.9大——因为在版本号语境里，这种逻辑是成立的。

很多人对大模型的期待是：把数学课本输入进去，它就能掌握数学规律并解答数学题，甚至实现万能计算器的功能。提供大量天文观测视频和数据，它就能自主总结出万有引力这样的物理定律。我们期待大模型能通过分析和处理海量数据，实现最高程度的信息压缩，自动发现世界运行的基本规律，表现出与人类智能相匹配的能力。但是，仅仅靠Transformer架构的语言大模型，仅仅靠语言信息的压缩，真的能实现这个目标吗？

语言≠思维

《语言≠思维，大模型学不了推理：一篇Nature让AI社区炸锅了》

近日，一篇由麻省理工学院等机构发表在《自然》杂志的文章观察到：人类大脑生成和解析语言的神经网络并不负责形式化推理，而且提出推理并不需要语言作为媒介。

论文链接：https://www.nature.com/articles/s41586-024-07522-w

没有语言，是否有可能发展出数理化这样具有强大逻辑推理能力的学科？语文或外语成绩不好，会不会影响到数理化学习？很多偏科的学生或许会认同：语言大模型可能不直接负责推理，人类大脑中其他功能区可能更擅长复杂的逻辑推理。

语言确实是我们沟通和表达的工具，但深度的逻辑推理往往发生在独处和沉默的思维中。在这些时刻，语言的表达能力和带宽往往跟不上思维的速度。17世纪数学家费马在他的笔记中提出了著名的“费马大定理”，却在边注中写道：“可惜这里的空白处太小，写不下我的证明。”这句话不仅说明了语言在表达复杂思维时的局限，也表明人类的深层次推理能力可能远超出语言所能描述的范围。

“文无第一，理无第二”这个现象很普遍。在数理化等学科中，顶尖学生往往能在考试中稳定拿到满分，但语文科目几乎没有人能始终保持满分。因为数理化题目通常有唯一正确的答案，解题过程可以通过逻辑推导和验证来确保准确性。数理化学科的优美之处在于其高度的逻辑性和可验证性。数学题目通常做完了就能知道对错，科学实验也能通过反复验证来确认理论正确。但语文的评判标准相对主观，涉及理解、表达和思维的多样性，评分时很难做到绝对一致和完全公正。

这个特点也解释了为什么目前的大语言模型难以实现100%的准确率：模型在生成推理和语言内容时，缺乏真实世界中的“仿真”和“校验”机制。虽然大模型可以输出看似逻辑严密的算法或代码，但目前它们无法确保这些结果绝对正确，也无法调用一个真实的运行环境来帮你校验代码能否正常运行，以及如何校验运行结果是否正确。

相比之下，人类大脑拥有“脑海仿真”的能力，能在做出决策前模拟可能的后果，进行逻辑推理，并产生非常真实的“画面感”结果预测。这种仿真不仅帮助人类评估每个决策的利弊，还能通过外界工具、实践和观察来验证推理的正确性。这种能力让人类在面对复杂决策时，能做出更理性和精确的判断。

我们当前的语言大模型仍缺少对过程的全面模拟和对结果的准确验证。这些需要大模型与各种API/RPA、与真实世界进行互动和校验。随着AI技术的发展，如何探索新的架构体系，赋予AI大模型更强的逻辑推理能力和自我校验机制，仍是未来研究的重要方向。

思考与后记

如果当前的语言大模型在理论上就没法达到100%的精准度，那还有必要不断加大投入去追求这个指标吗？

我们是不是应该充分发挥大模型的语言压缩特点，在一些不太追求精准度的场景下去落地实践？比如企业里的组织和沟通，往往有大量的语言文字信息。对于各种信息的上传下达，是否可以充分利用大模型的特点？这个问题，我们下篇内容再一起探讨。