Cloudflare 宣布 2026 年默认禁止 AI 代理爬取含广告网页

互联网基础服务企业 Cloudflare 于当地时间 7 月 1 日宣布，将细化网络爬虫屏蔽管理，根据爬虫行为赋予其搜索、代理、训练等标签。计划在 2026 年 9 月 15 日默认禁止 AI 代理与训练爬虫访问含广告的网页。

Cloudflare 表示，大多数网站所有者希望内容能被 AI 发现，同时不损失知识产权收益。负责任的 AI 企业会清晰标记爬虫用途，但仍存在大量混合型爬虫，具备多种功能。Cloudflare 的爬虫管理器将为混合型爬虫匹配所有行为模式，多任务爬虫只要一种行为被禁止就无法在特定网站爬取。

Cloudflare 还将为网站所有者提供新版归因业务洞察仪表板，适应搜索优化从 SEO 到 GEO 再到 AEO（答案引擎优化）的变迁。同时推出页面变动监控，避免无意义的重复抓取，并提供按使用计价的抓取付费模式。