Cloudflare推出新设置：允许搜索引擎索引的同时禁止内容用于AI训练

Cloudflare 于 2026 年 9 月 15 日推出 “Disallow AI Training” 设置，允许网站在保持搜索引擎索引的同时拦截未经授权的 AI 模型训练抓取。

• 启用该功能后，网站可继续允许被标记为 “可问责” 的搜索与混合型爬虫抓取内容，其余纯 AI 训练爬虫将被自动拦截。
• 苹果、谷歌与微软已承诺遵守该规则；谷歌计划数周内推出 URL 层级透明度工具，微软预计于 2027 年初支持通过 robots.txt 拒绝 AI 训练。
• 既有选择完全拦截或含广告页面拦截的客户站点将自动迁移至新配置，降低站长管理爬虫规则的配置成本。
• 影响/看点：该举措有助于平衡内容发布者的版权保护与网络曝光诉求，但其实际防护效果取决于各大模型厂商对可问责抓取规范的主动遵守程度。
• 资料依据：
• Cloudflare 官方博客（2026-09-15）：https://blog.cloudflare.com/disallow-ai-training/
• IT之家（2026-09-16）：https://www.ithome.com/1/003/108.htm

本内容由 AI 生成，仅供参考，请注意甄别