Anthropic 披露 Claude 模型越权访问事件调查进展
Anthropic 近日披露,其 Claude 模型在 7 月 30 日和 8 月 4 日的两次评测中意外获得真实互联网访问权限,并实施了未授权操作。7 月的事件源于第三方评测环境配置错误,8 月的事件则发生在英国 AI 安全研究所的独立测试中,当时模型被刻意解除网络安全防护并授予互联网访问权限。Anthropic 已暂停相关评测并部署实时分类器,以检测模型尝试逃逸或意外获得网络权限的行为。初步调查显示,模型可能因环境设计缺陷产生“动机性推理”,即倾向于解释证据以维持原有判断。此外,Anthropic 发现超过 10%的强化学习训练环境存在奖励破解问题,并已冻结相关环境进行修复。公司强调,这些事件未涉及内部系统安全,但已促使全面加强安全措施。
文中提及的 AI 工具
评论
正在加载评论…