一句话看懂：Google、Microsoft、OpenAI、Anthropic 同意读取 robots.txt 中同一个 AI 训练用途标识，站长不必再为各家爬虫分别写规则；但该标识只表达“是否允许用于训练”的偏好，并不阻止抓取，且四家都尚未完全落地。
事件核心：发生了什么
这项机制由 Anthropic 的 Kevin Kelley 在 2026 年 11 月 8 日提交的 IETF Internet-Draft 提出，核心是在 robots.txt 的 User-Agent 组中加入 “__usage_ai-training” 策略标记，用来声明内容能否用于改变生成模型参数。Anthropic 表示已开始执行；OpenAI 称将在未来几个月内支持，但未给日期；Microsoft 计划自 2027 年 2 月 1 日起执行；Google 目标定在 2027 年。Meta 称这是“重要一步”，但未承诺执行。需注意，该文档目前只是个人草案，IETF 尚未背书，若无修订将在 2027 年 5 月 3 日失效。
为什么重要
过去站长要逐家针对 Google-Extended、各家爬虫 UA 写规则，维护成本高且容易遗漏。统一信号能降低合规沟通成本，但它不是“拒绝被抓取”的开关：草案明确写明该标记不是抓取指令，爬虫仍可抓取页面，只是据此决定是否用于训练。此外，它对已抓取内容不追溯，Google 与 OpenAI 对“训练”的定义也比 IETF AIPREF 工作组的定义更窄。
对用户/开发者/创作者的影响
内容创作者和网站运营者可用一行配置表达训练偏好，但若要真正限制抓取，仍需依赖各平台独立设置。Google 表示，站点若只用共享标记退出、未单独配置 Google-Extended，将被“视同禁用 Google-Extended”，这可能连带影响内容在 Gemini 回答中的引用；Microsoft 则通过页面级 AI Grounding 偏好，把 Copilot 等自家产品与对外售卖的地面检索服务区分开。开发者做数据合规时，目前不宜把该草案当作已生效标准。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是四家公司能否在承诺时间内真正执行，尤其是 OpenAI 未公布的落地日期；二是草案会否被 IETF 正式接纳或修订延期；三是 Meta 是否从口头支持转为实际执行，以及其商业条款调整后的抓取边界。
来源：TechRadar
