Anthropic 在更新 S-1/A 招股补充文件时,于风险提示部分披露,公司或即将触及递归自我改进(RSI)标准。该概念指 AI 自我训练能力达到极高水平,进而推动自身能力爆发式增长的阶段。
文件显示,Anthropic 已将 AI 用于研发工作,曾利用 AI 开发出新模型并实现能力跃升,但团队当时并未察觉。基于内部测算,下一代模型可能很快触及《负责任扩缩策略》定义的“由 AI 带来的爆发式技术进展”,目前尚无现有模型越过该红线。
Anthropic 态度谨慎,认为递归自我改进既是机遇也暗藏风险,承诺在缺少有效人工监督的前提下,不会让 Claude 完全自主设计、迭代前沿模型,并考虑修订相关政策,保证开发始终由人类掌控。
推广
评论
正在加载评论…