谷歌联合推出MKA基准测试

驱动中国11月11日消息，当地时间11月10日，谷歌宣布与AI模型评测机构Artificial Analysis共同推出多模态知识智能体基准测试MKA，用于评估AI智能体处理视觉复杂文件并完成现实知识工作任务的能力。谷歌称，其最新发布的Gemini 4 Carbon在该测试中取得参测模型第二名，完成任务的平均成本约为排名第一模型的六分之一。

谷歌DeepMind高级产品经理Rohan Doshi与首席工程师Ben Caine介绍，不少现有知识工作评测仅依赖文本即可完成，而现实工作通常包含大量视觉信息。例如，建筑师需要交叉核对建筑蓝图，工程师需要分析工程示意图，专业人员还需要把不同来源的信息整理为演示文稿、报告和电子表格。

MKA面向上述复杂工作场景设计。谷歌表示，其与来自10个行业、83种职业的领域专家合作，建立包含200项任务的评测集，覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学以及软件与数据等领域。

每项任务模拟一个多步骤专业项目，包含真实工作提示词和一组多模态输入文件。谷歌称，这类任务通常需要经验丰富的专业人员花费3至8小时完成。每项任务均配有专家编写的评分标准，平均包含约70项是非判断检查项，其中事实准确性占75%，视觉设计占25%。

评测机制方面，所有参测模型均运行于相同开源智能体框架Stirrup，使用相同工具、沙箱环境和交互轮次预算。最终交付成果由基于非谷歌模型构建的智能体评审系统评分，该系统会打开所有文件、渲染页面、检查电子表格公式，并按专家评分标准核验结果。谷歌表示，领域专家对模型输出进行人工评分时，与自动评审系统结果一致率达到96%。

为避免测试题泄露并进入模型训练数据，Artificial Analysis将200项正式评测任务设为私有。同时，项目在Hugging Face上公开另外10项任务，供开发者了解测试格式并评估自己的智能体。

谷歌公布的测试结果显示，Gemini 4 Carbon在参测模型中质量排名第二，但平均任务成本约为排名第一模型的六分之一。谷歌还指出，不同模型完成同一批任务时效率存在明显差异，平均每项任务消耗交互轮次在30至130轮之间。

目前，MKA基准测试已通过Artificial Analysis开放，开发者可使用该平台评估自己的模型。Gemini 4 Carbon已通过Gemini API在Google AI Studio中提供。