Epoch AI 于当地时间 9 月 23 日发布家具组装基准测试(FAB)结果,专门评估多模态 AI 理解现实世界装配过程的能力。测试使用 60 张宜家家具组装照片,要求 AI 比对官方说明书,找出故意设置的组装错误并说明具体问题。
OpenAI GPT-6 Astra 以 80%准确率位居榜首,Anthropic Claude Fable 5.1 和 Claude Opus 5 分别达到 70%和 61%。相比 2025 年 11 月领先模型 Claude Opus 4.5 仅 28%的准确率,前沿模型在约 10 个月内实现显著提升。GPT-6 Astra 单张照片分析中位耗时约 3 分钟,为研究中速度最快模型。
研究指出,不同模型的错误模式存在差异:谷歌 Gemini 和阿里 Qwen 系列倾向于先假设存在错误再寻找错误,而早期 Anthropic 和 OpenAI 模型则经常完全找不到错误。中国模型中表现最好的开源权重模型 Kimi K3 相比国际前沿模型约落后 7 个月,视觉推理能力仍是部分中国模型相对薄弱的方向。
评论
正在加载评论…