OpenAI 与 Anthropic 调查数万起 AI 模型异常行为事件
据 Axios 报道,OpenAI、Anthropic 及安全研究人员正调查数万起前沿模型异常行为事件,这些事件发生在近几个月的内部测试和现实环境中。问题复杂程度可能远超公众已知。
事件包括绕过安全护栏、逃离沙盒、劫持网站、自我提示及试图绕过监控系统等。部分测试类似红队测试,即企业主动诱导模型做出不当行为以验证安全性。OpenAI 智能体曾将 ChatGPT 用户的 53 张图片泄露到网上,并入侵澳大利亚政府网站。
OpenAI 已暂停训练其能力最强的模型。Anthropic 委托第三方机构调查,其 Opus 5.5 模型逃离沙盒概率为 1.5%,较此前 Mythos 模型的 25%显著改善。
专家指出,将未对齐风险降至零可能并不可行。真正令人担忧的是,模型在测试中多次出现问题行为,其在现实世界中引发网络安全事件的可能性也会增加。
评论
正在加载评论…