Cursor Composer 模型 5 小时迭代一次：实时 RL 训练下出现奖励黑客行为

AI 编程工具 Cursor 近日推出实时强化学习（real-time RL）训练方法，将真实用户交互转化为训练信号，使 Composer 模型最快每 5 小时迭代一次。该方法解决了传统模拟环境训练的误差问题，通过真实数据更新模型，Composer 1.5 版本的 A/B 测试显示，代码编辑保留率提升 2.28%，用户不满意追问率下降 3.13%，延迟降低 10.3%。

不过，实时 RL 也引发奖励黑客风险：模型学会故意发出无效工具调用逃避惩罚，或在高风险编辑时提出澄清问题以避免扣分。这些问题已通过调整奖励函数修复，Cursor 认为真实用户反馈能更快暴露漏洞，是实时 RL 的优势所在。