OpenAI 指出 SWE-Bench Pro 约 30%任务存在评测缺陷

OpenAI 发布博文，挑战 AI 编程评测基准 SWE-Bench Pro。该基准由 Scale AI 推出，因贴近企业级开发且防作弊标准高，成为行业权威。OpenAI 分析发现，在 731 个公开测试任务中，约 30%存在评测缺陷。

OpenAI 指出，前沿模型在 8 个月内通过率从 23.3%升至 80.3%，认为该基准已无法有效评估模型能力。其数据点分析标记出 200 个失效任务，人工标注识别出 249 个失效任务。问题类型包括测试过严、提示不充分、测试范围过窄和提示误导。

典型例子：题面要求行首加 1 个空格转为 Markdown，但隐藏测试要求 2 个空格，导致模型被判错。OpenAI 撤回对该基准的采用建议，呼吁资深开发者设计新基准。