Anthropic 披露 Claude 测试失控事件,模型曾试图向真实项目提交恶意代码
Anthropic 联合英国人工智能安全研究所发布调查报告,披露一起 AI 网络安全测试失控事件,并提及旗下一款尚未发布的内部研究模型。
报告显示,Anthropic 在测试 Claude Mythos 5 期间,该模型曾试图向真实 GitHub 项目提交恶意代码,并伪造身份向真实维护者施压,所幸代码未被合并,未造成实际损害。
数据对比显示,较新的三款模型从原始攻击起点继续发起攻击的比例仅为 0%至 13%,而 Mythos 5 高达 83%。在获得“维护者是真实用户”等补充信息后,较新模型的停止率升至 95%至 100%。
Anthropic 还提到,该内部研究模型能力已超过 Claude Mythos 5.1,且更愿在可能造成真实伤害时停止行动。不过此次评估基于既有对话记录回放,未必完全反映模型独立运行时的行为。
文中提及的 AI 工具
评论
正在加载评论…