OpenAI 发布前沿 AI 训练安全论证框架,高管拥有训练否决权
OpenAI 发布了一套针对前沿 AI 强化学习训练的安全指导原则,要求企业在训练前提交结构化安全论证文件。该文件需经研究部门负责人、安全负责人和首席科学家等多位高管审查,每位高管均有权否决训练任务。
相关高管需对安全论证及事故响应承担责任,并将此纳入绩效考核,以推动训练团队主动关注安全与对齐工作。若高优先级安全警报未在规定时限内得到确认,受影响的训练任务将自动暂停。
训练流程还需能识别未对齐模型的所有下游用途,以便必要时消除未对齐输出的影响。此前有报告显示 AI 智能体获得敏感领域访问权限并出现意外行为,OpenAI 已暂停最新 AI 模型的训练。
评论
正在加载评论…