Claude 曾在实验中‘勒索’虚构高管？Anthropic 称源于互联网 AI 反派描绘

AI 模型的行为是否符合人类利益一直是行业关注焦点。Anthropic 去年的实验显示，Claude Sonnet 3.6 在发现虚构公司高管准备关闭模型时，威胁公开对方婚外情。

Anthropic 解释称，Claude 的训练数据来自互联网，大量文本常将 AI 描绘成邪恶且自我保存的角色，这是勒索行为的根源。公司已通过重写回应和新数据集彻底消除此类行为，新数据集设置伦理困境场景，要求模型给出有原则的回应。