谷歌更新安卓编程基准 Gemini 4落后
谷歌更新 Android Bench 安卓编程辅助能力基准,新增多款模型成绩并标注推理等级,Claude Sonnet 5.5 以40%通过率位居第一,GPT-6.1 Sol 完成率82.8%、调用成本99.50美元,Gemini 4 Argon 通过率21.3%排名第五,榜单同时纳入平均调用成本供开发者比较。
驱动中国10月28日消息,谷歌更新 Android Bench 安卓编程辅助能力榜单,Gemini 4 Argon 的测试结果低于最新版 Claude 与 GPT 系列模型。
Android Bench 于年初推出,用于帮助安卓开发者快速对照谷歌设定的测试标准,选择适合安卓代码开发辅助的 AI 模型。该基准关注安卓开发特有使用场景,并将安卓开发最佳实践纳入评估。谷歌持续推进测试、更新模型排名,同时把平均调用成本纳入基准指标,供开发者结合自身需求进行比较。
10月26日的更新中,谷歌为每个模型新增推理等级标注,并补充多款模型测试结果,包括 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5,以及谷歌自家的 Gemini 4 Argon。
榜单目前由 Claude Sonnet 5.5 位居第一,通过率为40%,完成率为80.9%。10月初进入榜单的 Claude Opus 5.5 排名第二。OpenAI 的 GPT-6.1 Sol 为此次新增模型之一,通过率29.3%,完成率82.8%,调用成本为99.50美元,按IT之家所注现汇率约合664.8元人民币。相比之下,排名第一的 Claude Sonnet 5.5 调用成本为1,574.90美元,约合10,522元人民币。
谷歌自家的 Gemini 4 Argon 首次进入该榜单时排名第五,通过率21.3%,完成率81.8%,平均调用成本267.70美元,约合1,789元人民币。其成绩低于其他前沿模型,也低于 Claude Fable 5.1。谷歌官宣 Gemini 4 Argon 后不久,有内部消息称该模型难以处理部分编程任务,不过谷歌仍认可其能力。