谷歌联合 AI 评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件、完成现实世界知识工作任务的能力。
该测试联合来自 10 个行业、83 种职业的领域专家,建立了包含 200 项任务的评测集,覆盖商业、建筑、医疗、法律等领域。每项任务模拟多步骤专业项目,通常需经验丰富的专业人员 3 至 8 小时完成,评分标准平均含约 70 项检查项。
测试结果显示,谷歌最新发布的 Gemini 4 Carbon 取得质量排名第二的成绩,完成任务的平均成本仅为排名第一模型的约六分之一。人工专家评分与自动评审系统结果一致率达 96%。
目前 MKA 已通过 Artificial Analysis 开放,正式评测任务设为私有以防泄露,另有 10 项任务在 Hugging Face 公开,供开发者评估自己的智能体。
推广
评论
正在加载评论…