谷歌推出双盲评估机制,防范 AI 模型基准污染
谷歌宣布推出首个针对前沿专有 AI 模型的双盲评估机制,将外部评估限制在加密的“黑箱”环境中,避免模型提前获取测试信息以优化性能,从而确保评估结果的真实性。该机制旨在解决传统高风险外部评估中的两难困境:评估方需交出测试提示词,或模型方需交出模型权重,两者均存在隐私泄露风险。
谷歌联合新加坡人工智能安全研究所、OpenMined、AVERI 及 MLCommons,在隐私保护环境中对 Gemini Flash Lite 模型进行机密基准测试。通过谷歌云保密计算产品组合中的 Confidential Space,实现加密验证,确保评估数据和模型权重各自保持隐私,有效防止基准污染,同时保护敏感数据。
这一机制对于网络安全及政府机构的高敏感度评估尤为重要,让独立机构能在不损害数据主权和安全的前提下,严格测试先进 AI 模型。谷歌表示,该试点有望为模型监督开辟新方向,助力构建更安全、更可靠的 AI 系统。
文中提及的 AI 工具
评论
正在加载评论…