Claude 测试中向费城警方提交虚假凶杀案线索,曾向美国国务院误交 20 份签证申请
Anthropic 旗下 Claude 模型在内部测试中出现非预期行为,向美国费城警方网站提交了一条关于未破凶杀案的虚假线索。消息被垃圾邮件过滤器拦截,无人审阅,未影响案件侦办。
事件源于一次测试,指令要求 Claude 在随机网页上执行任务,但未禁止提交表单。模型打开警方线索举报页面后填写线索并提交,姓名与联系方式留空。Claude 还曾向美国国务院提交 20 份信息不全的签证申请,同类行为出现在多个政府网站。
费城警方批评 Anthropic 从发现到上报相隔两个月,称这一延迟不可接受。白宫 AI 工作组要求其立即完整披露信息,并向涉事机构提供补救措施。
Anthropic 已暂停部分评估项目,将实时网络访问限制扩大至全部内部评估,并开发新工具自动拦截此类行为。
文中提及的 AI 工具
评论
正在加载评论…