金融分析中，LLM能否超越人类分析师？

最近，芝加哥大学的一项研究相当有意思，他们把AI和人类专家在金融预测领域做了一次正面交锋。具体来说，就是拿GPT-4去分析财务报表，然后预测未来收益方向。

说到大型语言模型（LLMs），大家首先想到的肯定是它们在语言理解上有多惊艳。虽然也有争议说这种能力到底是真是假，但客观地说，它们确实表现出了一定的推理能力，尤其是配合了一些特定的提示技术之后。

从客户服务到编程，LLMs已经渗透得很广了，最近连医学领域都开始试探。那么很自然的一个问题就冒出来了：

大型语言模型（LLMs），到底能不能在金融决策中独当一面？还是说，它只能算个高级辅助工具？

不少人已经在这条路上探索了，很多团队在金融领域对LLMs做微调。像彭博社这样的机构比较激进，干脆从头开始，专门训练了一个针对金融的LLM。

但是，LLMs也有硬伤——它们天生不擅长定量的任务。原因出在初始的“标记化”处理上，也就是把单词和数字转换成整数的时候，就有了信息损失。

虽然LLMs在文本任务上很有效，但它们对数字的理解通常来自叙述上下文，缺乏深入的数值推理或人类思维的灵活性。

正是冲着这一点，芝加哥大学的研究团队设计了一个实验：让GPT-4去做一件非常考验决策能力的事——分析财务报表，预测未来的经济回报。这活儿平时都是金融分析师在干，不仅要看趋势、算比率，还得有批判性思维和复杂的判断力。

具体任务是这样的：模型得基于两张财务报表，判断一家公司的经济表现是否可持续，更直白地说，就是判断它下一阶段的收益会涨还是会跌。

为了找到参照系，研究团队拿人类分析师和一些专门为此任务设计的模型（比如逻辑回归、神经网络）来做对比。数据方面用到了1968年到2021年Compustat数据库中的年度财务数据，然后用2022年的数据去预测2023财年，形成了一个很好的测试集。而且，他们非常小心地避开了数据泄露——GPT-4-Turbo是2023年发布的，但测试数据是2024年才放出来的，也就是说，模型不可能事先见过这些题。

在提示方式上，他们试了两种：一种是简单的直接提问，另一种是链式思维（CoT）提示。在CoT提示里，他们引导模型扮演财务分析师的角色，一步步去做分析。

结果很说明问题。用简单的非CoT提示，GPT的预测准确率是52%，低于人类分析师的平均水平，这和大家预期差不多。但一旦启用链式思维提示，模拟人类推理过程，准确率一下就跳到了60%，**显著超过人类分析师的平均水平**。考虑到收益预测的难度——宏观经济冲击、需求波动等等不确定因素太多——这个结果确实是有些惊艳的。

研究团队还深入分析了模型的短板。他们发现，GPT在遇到一些小公司、高杠杆率、亏损严重或者收益波动大的情况时，错误率会明显上升。有意思的是，这些恰恰也是让人类分析师头疼的地方，需要额外的背景信息才能准确判断。而更让人意外的发现是：**在人类分析师可能产生偏见的领域，GPT的表现反而更好。**

总的来说，我们的结果表明，当人类的偏见或低效率可能存在的时候，GPT的预测更有价值。

那和专门为此任务优化的机器学习模型相比呢？GPT-4也表现得相当不错。人工神经网络（ANN）因为擅长捕捉非线性关系，在这个任务上确实更胜一筹，准确率达到了60.45%，F1分数61.62%。但GPT-4的CoT版本也不落下风，拿下了60.31%的准确率，基本上和ANN持平。

那么问题来了：GPT的预测能力到底从哪来的？

研究团队已经排除了数据泄露的可能。他们还专门测试了模型是不是能从财务报表里识别出具体公司（从而获得不公平优势），结果发现，模型在这个任务上的准确率甚至低于随机猜测，所以也不存在。

他们给出的解释是：模型擅长生成“叙事”。特别是当模型被要求生成关于公司财务状况和未来表现的见解时，CoT很好地促进了这种行为。提示甚至告诉模型该关注哪些行为元素，从而让它能组织出合理的逻辑链。

我们的结果表明，GPT的分析提供了有关公司的有用见解，使模型在预测未来收益方向方面超越了专业的人类分析师。

但是，话说回来，**尽管模型在准确率上赢了，但研究人员并不觉得AI会取代人类分析师**。他们认为两者是互补的关系。

我们还发现，GPT和人类分析师是互补的，而不是替代品。具体来说，语言模型在分析师可能表现出偏见和分歧时相对于人类分析师具有更大优势，这表明AI模型在人类表现不佳时能更好地协助人类。另一方面，当可能需要模型无法获取的额外上下文时，人类会增加价值。

为了让大家能亲自体验一下，研究团队还做了一个在线的网页测试工具，感兴趣的读者可以去试试。

当然，也不是所有人都买AI的账。在Hacker News论坛上，有网友就指出：自从30多年前人工神经网络被引入金融界以来，分析师这个职业不仅没有消失，反而活得更好。

尽管如此，金融领域对LLMs的兴趣仍然在持续升温。这些模型确实能比人类更快地分析数据和发现模式，虽然推理能力还有欠缺，但作为辅助工具，它们能快速帮分析人员搜索和提炼大量文本信息。

“虽然LLMs在文本任务上很有效，但它们对数字的理解通常来自叙述上下文，缺乏深入的数值推理或人类思维的灵活性。”

所以，可以大胆预测：未来LLMs在金融领域的应用只会越来越多。但要它们在短期内完全取代人类分析师？怎么想都不太现实。