Anthropic 研究员计划成员陈岳翰领导开发了一套自动化 AI 对齐研究员系统,通过 AI 模型训练其他 AI 模型来改善对齐失效问题。该研究团队针对 10 种失调行为设置测试,自动化系统使全部指标均有改善,且未牺牲模型整体能力。
该系统工作流程类似传统科研:先查阅文献,提出训练方法,再训练模型 30 分钟,通过多轮尝试逐步提升成绩。有效方案保留,无效方案淘汰,使研究过程可快速规模化。论文显示,最优秀的自动化方法平均仅需 6 小时即可超越经验丰富的人类研究员提出的方案。
成本方面,自动化系统每小时 API 推理成本约 4 美元,而人类研究员每小时费用 150 美元,差距明显。但该方法仍受限于基准测试的准确性和研究文献的持续维护。研究向递归自我改进迈出一步,引发了关于 AI 发展未来的思考。
评论
正在加载评论…