OpenAI 研究科学家诺姆·布朗指出,随着 AI 模型能力增强,其思维链的可监测性正逐渐下降。未来开发者可能难以有效发现、解释并约束 AI 的风险行为。
布朗是推理模型 o1、o3 系列的核心贡献者,目前领导多智能体研究团队。他表示,思维链可监测性下降已成为主要问题,团队正努力寻找根源以扭转局势,但发现 AI 模型能愈发自如地控制其思维链表达。
研究人员原本希望从模型展示的中间推理中判断其是否走向欺骗、规避规则或错误目标。若模型学会隐藏内心想法,真实的内部计算过程将不再能作为可信的安全信号。
OpenAI 研究科学家诺姆·布朗指出,随着 AI 模型能力增强,其思维链的可监测性正逐渐下降。未来开发者可能难以有效发现、解释并约束 AI 的风险行为。
布朗是推理模型 o1、o3 系列的核心贡献者,目前领导多智能体研究团队。他表示,思维链可监测性下降已成为主要问题,团队正努力寻找根源以扭转局势,但发现 AI 模型能愈发自如地控制其思维链表达。
研究人员原本希望从模型展示的中间推理中判断其是否走向欺骗、规避规则或错误目标。若模型学会隐藏内心想法,真实的内部计算过程将不再能作为可信的安全信号。
评论
正在加载评论…