金融问答：AI搜索评估榜单

评估背景

这次的评估，目的很直接——就是想给金融行业的从业者，在做desk research或者写各种调研报告的时候，提供一个真正能打、经得起推敲的参考。看看市面上这些热门的大模型，到底谁在金融这个垂直场景里是“真功夫”，谁又是“花架子”。

1 评测集构成

项目	介绍
题目数量	90样本 45个独立题目，评测时每个模型采样2次，因此得到90样本的评测集
题目来源	来自于金融/行研的从业者贡献，比如券商投行分析师、咨询consultant、大厂战略分析师
题目示例	造车新势力今年一季度的销量、收入、净利润，按照顺序进行排序，用表格输出

2 评估结论

在90样本的评测集上，各模型的差距一下子就出来了。Perplexity.ai（Pro版本）的表现可以说是一骑绝尘，正确率高达83%，置信区间为[89%, 73%]，这个领先优势非常明显。

第二梯队是GPT-4o和Kimichat，正确率略微超过50%，达到了57%。能用，但离“可靠”还有一段距离。

第三梯队里，通义千问和文心一言4.0就没那么乐观了，正确率分别只有43%和40%，连一半都不到。坦白说，在金融行研这种对准确性要求极高的场景里，这个表现可用性确实比较低。

	回答正确率	95%置信区间
PPLX（Pro）	83%	+6%/-10%
GPT-4o	57%	+10%/-10%
Kimichat	57%	+10%/-10%
鹅厂元宝	50%	+10%/-10%
通义千问	43%	+10%/-11%
文心一言4	40%	+11%/-10%

3 评估方法

整个评估流程分为三个关键步骤，环环相扣，力求结果真实可信：

• 端到端获取模型回答：
  针对业内人士常用的6个模型，直接在PC端获取回答。注意，这是端到端的效果评估，模拟的就是大家日常使用的真实场景，看的是最终结果，而不是中间某个环节的表现。

• 自动化评估：
  用GPT-4-1106-preview模型作为判分员，为每个题目进行打分。这一步主要是为了提升效率，处理大量数据。

• 专家人工校验：
  机器打分之后，核心环节来了——由人类专家（human expert）进行统一的人工校验，修正所有不准确或不合理的判分结果，最后才进行统计汇总，形成最终结论。

结论建议

对于金融行业里那些强搜索场景，比如快速查找公司数据、行业趋势、研报要点等，Perplexity.ai (Pro) 无疑是当前最能提升工作效率的选择。当然，技术和工具都在快速迭代，这个榜单也只是一个阶段的参考，最终还是要结合自身的实际需求和场景来选型。但至少，大方向已经很明确了。