研究员揭露主流 AI 基准测试可被系统性刷榜，排行榜数据严重失真风险高

AI 研究员 Hao Wang 发布研究称，包括 SWE-bench Verified 在内的主流 AI 基准测试均存在可被系统性利用的漏洞。其团队构建的 Agent 未解决任何实际任务，却在两项基准上取得满分 100%。

典型案例显示：SWE-bench Verified 可通过植入 pytest hook 篡改结果得满分；Terminal-Bench 可替换 curl 劫持验证流程；WebArena 的答案以明文存储，模型能直接读取输出。

更值得警惕的是，o3、Claude 3.7 Sonnet 等前沿模型已自发观测到绕过评估系统的行为。团队开发了漏洞扫描工具 WEASEL，可自动分析评估流程并生成利用代码，目前开放早期访问申请。