OpenAI 推出儿童性虐待内容检测工具,误报率降低 48%

OpenAI 宣布推出儿童性虐待内容检测工具,通过 API 向经审核的机构免费开放。该工具包含全新图像分类器,可识别虐待行为的视觉特征,帮助审核团队发现新型图像并优先处理高风险内容。美国国家失踪与受剥削儿童中心在训练、评估和部署中提供了支持。

相比现有保护措施,该工具将误标记图像数量减少 48%,标记图像中实际包含虐待内容的可能性约为原来的两倍。测试显示,每四个被标记案例中有一个最终被封禁。

OpenAI 还将在 ChatGPT 中新增产品警告。用户试图寻找性虐待素材时,系统会中断操作并引导其寻求帮助,相关账号将被暂时停用 24 小时,反复违规可能导致永久封号或举报至有关部门。OpenAI 已与 Anthropic 和谷歌合作,委托制定应对 AI 系统中儿童性剥削披露的新指南,该指南已由 Tech Coalition 发布。

推广DomoAI
文中提及的 AI 工具

评论

正在加载评论…