Anthropic 开源 FlashProve 系统,用密码学验证 AI 输出的模型来源

Anthropic 正在开发一套名为 FlashProve 的开源系统,目标是实现“可证明推理”:用密码学证明为 AI 输出提供数学保证,确认其确实来自某个指定模型。原理类似加密邮件签名,可抵御模型伪装行为,即使由运营该模型的公司实施也难以绕过验证。

该系统可防止 AI 公司为省成本暗中换用更便宜模型,或换用更贵模型抬高测试成绩,也能验证第三方关于先进模型完成任务的声明。实现上,实验室为模型提供不泄露权重的“指纹”,与输出匹配后以密码学验证来源,闭源模型同样适用。系统轻量化,可在本地设备完成验证,技术规范与代码已在 GitHub 开源。

目前研究仍在进行,Anthropic 尚未计划部署该系统,公开发布意在邀请业界审视、利用并改进这项工作。

推广DomoAI

评论

正在加载评论…