一句话看懂：Anthropic 提出、Google、微软、OpenAI 和 Anthropic 共同支持的 robots.txt 新标记，让网站用一条规则就能声明哪些内容不得用于生成式 AI 训练，不必再为每家公司的爬虫分别写规则。
事件核心：发生了什么
这项提议以 IETF 草案形式由 Anthropic 的 Kevin Kelley 公开，网站可在现有的 robots.txt 中加入 __usage_ai-training 策略组，并列出不希望被用于训练的具体路径。草案示例是允许抓取新闻资料包、其余站点内容排除在外。
四家公司的落地节奏不同：Anthropic 已着手实现；OpenAI 目标在未来数月内支持；微软从 2027 年 2 月 1 日起执行，并以其替代 2023 年以来使用的 NoArchive、NoCache 标签；Google 计划 2027 年初支持，若网站声明退出且未单独提及 Google-Extended，Google 将视为屏蔽该训练控制。草案同时说明，该标记只是表达偏好，不构成抓取禁令，网站与 AI 公司之间的私下协议仍可覆盖它，且 IETF 尚未背书该草案。
为什么重要
此前网站要拒绝 AI 训练，需要针对 GPTBot、Google-Extended 等不同爬虫分别配置，规则碎片化且容易漏掉新玩家。统一信号降低了发布方的沟通和运维成本，也让“内容是否进入训练”从一对一谈判转向可机读的行业惯例。不过它并非付费许可机制，微软明确表示这些偏好不建立授权或付费安排，与 Cloudflare 推动的“付费或屏蔽”、澳大利亚公共媒体要求为新闻付费等主张仍有距离。
对用户/开发者/创作者的影响
对内容创作者和发布方，最直接的收益是可以用一条 robots.txt 规则覆盖多家公司的训练用途，同时保留 Bing 搜索曝光。对开发者，若正在构建依赖网页语料的训练或检索管线，需要检查目标站点的 __usage_ai-training 声明，避免误用被排除的内容。对普通用户，Google 提示允许 Google-Extended 的站点仍可能出现在 Gemini 应用回答中并获得点击，屏蔽 AI 引用则可能降低内容在 AI 生成体验里的可见度。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Google 2027 年初的承诺能否按期落地，以及 Google-Extended 与新标记的优先级如何处理；二是微软 2027 年 2 月切换时，对 Copilot 等自有产品与对外 grounding 服务的页面级设置是否清晰可操作；三是 Meta 等尚未表态的公司是否跟进，以及该草案能否在 IETF 获得正式标准地位。
来源：The Next Web
