谷歌升级Android_Bench代码排行榜:Claude5斩获榜首,Gemini准确率与效率双落后
来源:互联网
时间:2026-07-13 08:03:04
7月9日,谷歌终于对Android Bench代码开发者排行榜动了一次大手术——全面重构,核心动作就是把标准化的Harbor沙箱框架整合进去。这意味着,以后所有的测试都挪到了高度隔离的安全环境里跑,目的倒也不复杂:让全球的开发者们可以更轻松地做独立性能评估、灵活配置开发环境,还能协作共享测试数据,技术门槛一下子低了不少。底层架构一升级,谷歌也没藏着掖着,直接在GitHub上把整个基准测试套件给开源了,社区想参与?没问题——开发者可以自己提交定制化的Android开发任务和模型评测方案。

有意思的是,这次更新后的权威排名里,谷歌自家的模型表现并不亮眼。Anthropic家的旗舰大模型Claude Fable5拿下了第一,准确率84.5%;OpenAI的GPT-5.5紧随其后,80.2%的得分排在第二;而谷歌的Gemini 3.1 Pro呢?只落到了第五位。
当然,Gemini系列在成本上还是有点底气的。单次推理来看,Gemini 3.1 Pro一次测试大约87美元,而头部竞品普遍都要130美元以上,差距挺明显。但轻量版的Gemini 3.5 Flash在百题规模的评估数据集上就有点吃力了——单次完整运行得花28个小时,总成本直接飙到165美元。一对比,优势就没那么突出了。
现在行业的主流方向已经很明确:构建以自主智能为核心的端到端开发工作流。谷歌在这个关键移动生态基准测试上的相对落后,客观上给自己的整体AI战略落地带来了不小的压力。不过话说回来,依托公开透明的评测逻辑,再加上Harbor沙箱框架的深度开放能力,Android Bench正在加速变成业内公认的、非商业导向的权威AI编程能力评估基础设施。这一点,倒是不争的事实。