谷歌更新安卓编程基准 Gemini 4落后

AI 驱动中国 苏木 754次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

谷歌更新 Android Bench 安卓编程辅助能力基准,新增多款模型成绩并标注推理等级,Claude Sonnet 5.5 以40%通过率位居第一,GPT-6.1 Sol 完成率82.8%、调用成本99.50美元,Gemini 4 Argon 通过率21.3%排名第五,榜单同时纳入平均调用成本供开发者比较。

驱动中国10月28日消息,谷歌更新 Android Bench 安卓编程辅助能力榜单,Gemini 4 Argon 的测试结果低于最新版 Claude 与 GPT 系列模型。

Android Bench 于年初推出,用于帮助安卓开发者快速对照谷歌设定的测试标准,选择适合安卓代码开发辅助的 AI 模型。该基准关注安卓开发特有使用场景,并将安卓开发最佳实践纳入评估。谷歌持续推进测试、更新模型排名,同时把平均调用成本纳入基准指标,供开发者结合自身需求进行比较。

10月26日的更新中,谷歌为每个模型新增推理等级标注,并补充多款模型测试结果,包括 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5,以及谷歌自家的 Gemini 4 Argon。

榜单目前由 Claude Sonnet 5.5 位居第一,通过率为40%,完成率为80.9%。10月初进入榜单的 Claude Opus 5.5 排名第二。OpenAI 的 GPT-6.1 Sol 为此次新增模型之一,通过率29.3%,完成率82.8%,调用成本为99.50美元,按IT之家所注现汇率约合664.8元人民币。相比之下,排名第一的 Claude Sonnet 5.5 调用成本为1,574.90美元,约合10,522元人民币。

谷歌自家的 Gemini 4 Argon 首次进入该榜单时排名第五,通过率21.3%,完成率81.8%,平均调用成本267.70美元,约合1,789元人民币。其成绩低于其他前沿模型,也低于 Claude Fable 5.1。谷歌官宣 Gemini 4 Argon 后不久,有内部消息称该模型难以处理部分编程任务,不过谷歌仍认可其能力。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/527674.html
本文价值 ★★★★★ 4 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友