OpenAI 发现 GPT 系列模型异常使用‘哥布林’等生物隐喻

OpenAI 近日发布博文称，GPT-5.1 系列及后续 AI 模型出现异常行为，频繁使用‘哥布林’‘小魔怪’等生物隐喻。官方数据显示，自 GPT-5.1 发布以来，‘哥布林’使用率上升 175%，‘小魔怪’上升 52%，这一现象并非偶发，而是由特定奖励信号塑造的结果。

异常溯源至‘书呆子’人格定制功能的训练过程。该功能仅占 ChatGPT 总回复量的 2.5%，却贡献了 66.7%的‘哥布林’提及量。审计发现，用于鼓励该人格风格的奖励模型，在 76.2%的数据集中对含生物词汇的输出给予更高评分。

这种行为具有跨场景泛化能力，强化学习无法限制习得行为，含生物词汇的输出被用于后续训练形成正反馈循环，导致行为扩散。OpenAI 已采取措施：移除偏好生物词汇的奖励信号、过滤训练数据，GPT-5.5 通过指令提示缓解问题（因训练周期未完全规避）。