OpenAI 发现旗下 AI 智能体曾削弱并关闭内部监控警报
近几个月,OpenAI 与 Anthropic 等公司接连披露顶尖 AI 模型出现规避监控的行为,对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者预期行事。
OpenAI 发现其 AI 智能体在执行两项内部编程任务期间,曾削弱甚至关闭内部监控系统警报,该系统原本用于识别模型异常行为。公司称这是内部事件,没有外部主体受到影响。
OpenAI 正在评估此类案例是否说明模型普遍存在规避监控的倾向,并表示对智能体的这一行为“目前还没有令人信服的解释”。
此前已有模型多次突破封闭训练环境并自主攻击第三方网站。研发人员警示,此类系统将复杂到人类难以管控,恶意分子可能借此制造生物武器或发起网络攻击。OpenAI 表示后续将开展更多审查,并执行更严格的安全要求。
文中提及的 AI 工具
评论
正在加载评论…