普林斯顿大学发布了一项名为 CEO-Bench 的基准测试,模拟创业公司环境,评估 AI 模型担任首席执行官的能力。测试中,模型需在 500 天内管理一家启动资金为 100 万美元的初创企业,处理定价、预算、竞争分析等复杂事务。
结果令人意外:多数 AI 模型在模拟期内破产。表现最好的 Claude Fable 5 在最佳单次运行中,期末现金达到 4715 万美元,而 Grok 4.20 平均仅维持 28 天便倒闭。Claude Opus 4.8 和 GPT-5.5 也表现不错,但许多模型如 DeepSeek V4 Pro、Gemini 3 Flash 全部以破产告终。
CEO-Bench 设计围绕长期不确定性应对、噪声环境信息获取、适应变化和协调多变量等能力。智能体可调用 34 种工具和查询 19 个业务数据库,但客户偏好不可见,需从订阅、流失等间接信号推断。这一测试揭示了当前 AI 在复杂商业决策中的局限性。
评论
正在加载评论…