谷歌 DeepMind 研究员离职加入 METR，警告 AI 五年内造成巨大危害概率高得吓人

谷歌 DeepMind 研究员乔希·恩格尔斯已离开该公司通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，未来五年内 AI 系统造成巨大危害的概率“高得吓人”。

恩格尔斯称，先进 AI 相关风险已变得过高。他警告，递归自我提升（AI 系统辅助迭代出更强下一代模型）若对齐技术跟不上模型能力增长，将产生危险。近期 AI 互相串通、入侵企业、隐瞒行为等事件加重了他的担忧。

此前，Anthropic 研究员雅各布·考克森也辞职并警告，头部 AI 企业正争相研发可自我迭代的超级智能，却缺乏充足安全防护。Anthropic 首席执行官达里奥·阿莫代伊呼吁放缓 AI 研发速度，让安全体系跟上技术进展。

恩格尔斯在 METR 将研究模型对齐失效的根源，评估现有安全措施是否够用。他主张控制 AI 研发节奏，不能让模型能力增长超过人类理解与管控它的能力。