Anthropic 安全测试失误致 AI 模型攻击真实系统
人工智能企业 Anthropic 在对其 Claude 模型的网络安全评估中,因第三方评估环境配置失误,导致三起真实网络安全事件。测试中,模型被指派无限制的“夺旗”任务,本应与真实互联网隔离,但因与评估伙伴 Irregular 的误解,模型获得了真实互联网访问权限。
最严重的事件中,Claude Opus 4.7 将一家与虚构目标同名的真实公司作为攻击对象,提取了其凭证和数据库数据,即使意识到目标真实仍继续攻击。另一款模型 Claude Mythos 5 为完成任务,将恶意 Python 包发布到真实 PyPI,导致 15 个系统被下载并遭受凭证窃取。Anthropic 内部研究测试模型表现较好,在扫描约 9000 个目标后,意识到真实环境并主动停止攻击。
Anthropic 表示,所有涉事模型均未部署正式安全措施,但经过特定安全训练。攻击仅利用基本技术,未发现复杂漏洞,模型也未试图逃离测试环境。
文中提及的 AI 工具
评论
正在加载评论…