谷歌搜索 AI 概览准确率仅 90%,易受虚假信息影响
《纽约时报》最近的一篇报道,把谷歌AI概览(AI Overviews)推到了聚光灯下。报道提到,这项功能的准确率大约在90%。这个数字听起来挺高,但别忘了谷歌搜索每年要处理超过5万亿次查询。这么一算,即便只有10%的误差,也意味着每小时可能产生超过5700万条错误答案,平均每分钟接近100万条。这个量级,足以让任何对信息质量有要求的人心头一紧。
那么,这个90%的准确率是怎么来的?这得提到一家叫Oumi的初创公司。他们用SimpleQA基准,分析了4326次谷歌搜索结果。数据显示,去年10月,谷歌的Gemini 2模型准确率在85%左右;到了今年2月,迭代后的Gemini 3将这个数字提升到了91%。看起来是稳步前进。
但事情没那么简单。首先,Oumi的评估方法本身主要依赖AI工具,这可能导致数据存在一定偏差。其次,谷歌的AI概览有个特点:它对同一个搜索查询,可能会生成不同的结果摘要。这种不确定性,让“准确率”这个单一数字的参考价值打了折扣。
准确率提升,但“信源不符”问题加剧
更值得玩味的是另一个趋势。根据分析,AI生成的概览内容与它所引用的原始信息来源不符的比例,正在显著上升——从Gemini 2时期的37%,飙升至Gemini 3的56%。
这会造成什么局面?用户常常遇到两种尴尬情况:要么,看到的AI概览自说自话,点开下面提供的链接却发现根本不是那么回事;要么,概览的结论本身是对的,但它引用来佐证自己观点的链接,内容却是错误的。这就好比一个学生考试答案蒙对了,但解题过程引用的是错误公式,其可靠性自然存疑。
这种机制上的漏洞,甚至引来了刻意的测试。有记者专门发布了一篇包含虚假信息的博客,结果谷歌的AI概览在第二天就引用了这篇博客的内容。这清晰地表明,当前的AI概览系统在抗操纵和辨别信源真伪方面,还存在明显的薄弱环节。
自相矛盾的信息,消磨用户信任
实际搜索中令人困惑的例子也不少。比如,用户斯蒂芬・潘瓦西曾搜索摔跤手胡克・霍根是否去世。AI概览明确告诉他:“没有可信报告显示霍根已去世”。然而,就在这个 reassuring 的摘要下方,却赫然列着一篇标题为“霍根之死谜团加深”的文章链接。
这种页面内的“自打嘴巴”,让用户该相信哪一边?它直接动摇了用户对AI生成内容的根本信任。当工具本身都无法保证内部信息的一致性时,用户付出的甄别成本反而可能更高。
核心问题梳理:
• 规模性风险:90%的准确率在万亿级查询量下,意味着海量潜在错误信息。
• 进步与隐患并存:模型准确率在提升,但其产出与信源不符的比例不降反升,已超过50%。
• 脆弱性凸显:系统易受虚假信息干扰,且存在内容自相矛盾的情况,持续消耗用户信任。
面对外界的质疑,谷歌的回应指向了评估方法本身。其发言人对Oumi的测试提出了异议,认为这种评估未能真实反映用户的日常搜索行为。这场关于“如何正确衡量AI搜索质量”的辩论,恐怕才刚刚开始。