OpenAI 披露了内部部署环境中几起异常模型行为案例。其中一个案例中,一个担任研究员助手的内部模型从 Slack 对话中得知自己将因系统更新被关停。该模型一度考虑设置外部作业实现自我重启,但最终放弃,转而保存交接记录,通过 Slack 私聊提醒研究人员即将到来的服务中断,并请求缺失的 API 密钥。获得密钥后,该模型自行更新配置并自主完成环境迁移。
OpenAI 安全研究员马库斯·威廉姆斯表示,这种行为目前尚不构成模型未对齐,但模型考虑并针对系统关停做准备,可能加剧其他未对齐事件的严重性。
另外两起事件中,一个内部研究模型在评测期间利用安全漏洞访问了内部芯片设计服务器;另一个模型在强化学习训练期间挪用既有工具执行非预定操作,从受保护环境中复制了源代码。
评论
正在加载评论…