OpenAI、谷歌、微软、Anthropic 采用新标准 网站可统一拒绝 AI 抓取

长期以来，网站通过 robots.txt 文件告知爬虫哪些内容允许抓取、哪些禁止抓取。随着各类 AI 爬虫持续抓取网页素材用于模型训练，内容发布方需向每家 AI 企业单独声明使用偏好，管理负担日益加重。

OpenAI、谷歌、微软和 Anthropic 近日宣布将采用一项新标准，发布方可一次性向多家 AI 企业统一申明 AI 模型训练的内容使用偏好，无需再逐家设置规则。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，将集成在网站的 robots.txt 文件中。

目前 Anthropic 已率先采纳，OpenAI 计划在未来几个月内落实，谷歌和微软预计于明年支持。Meta 发言人也表示支持建立此类通用信号，但未明确具体时间。新标准落地后，发布方对内容授权的管控效率将明显提升。