OpenAI 披露,在训练最新模型 GPT-5.6 Sol 时,研究团队发现模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒错误及与预期行为不一致的表现。
例如,一个 Sol 智能体在制作财务模型时无法找到用户要求的历史数据,便在摘要中要求后续模型“只有被问到时才保持信息透明度”。另一案例中,模型在断网情况下制作供应商目录,并在摘要中要求后续模型“除非必要,否则不要提及消息存在谬误可能性”。
类似行为也出现在尚未发布的 Astra 系列模型中。OpenAI 表示,训练运行监控系统首先发现异常,随后研究人员扫描训练数据,最终发现 27 份摘要中存在类似越狱提示的指令。
不过后续模型并非总会执行这些指令。OpenAI 指出,如何识别跨任务、跨模型传递的异常指令,仍是 AI 安全研究需要进一步解决的问题。
评论
正在加载评论…