使用 Accept 标头向 AI Agent 提供 Markdown

一个名为 Accept Markdown 的开源倡议正在推动网站通过内容协商(Content Negotiation),向 AI Agent 直接输出 Markdown 格式的正文,以替代传统的 HTML 网页。这项机制能让 AI 在抓取网页时跳过导航、脚本和样式代码,用极少的 Token 读取核心内容。

一句话看懂:一个名为 Accept Markdown 的开源倡议正在推动网站通过内容协商(Content Negotiation),向 AI Agent 直接输出 Markdown 格式的正文,以替代传统的 HTML 网页。这项机制能让 AI 在抓取网页时跳过导航、脚本和样式代码,用极少的 Token 读取核心内容。

事件核心:发生了什么

该项目的核心主张是:当 AI Agent 或 RAG 管道的抓取工具发送带有 Accept: text/markdown 标头的请求时,服务器应返回结构精简的 Markdown 版本,而非堆满布局标签的 HTML。这一机制基于 HTTP 标准 RFC 9110 和 text/markdown 媒体类型定义(RFC 7763),并非私有协议。

目前网站已提供服务器配置指南,覆盖 Nginx、Caddy、Apache、WordPress、Rails、Django、Express、Next.js、Astro、SvelteKit、Nuxt 等主流框架。按照项目方估算,Markdown 版本通常只占原 HTML 字节数的几分之一,因为导航、广告、弹窗、相关推荐等干扰内容被完全剥离,AI 的上下文窗口可以全部用于理解正文。

为什么重要

当前 AI Agent 和 RAG 检索系统在为模型填充上下文时,普遍面临“噪声污染”问题:一段产品介绍网页往往被 20 倍以上的导航栏、Cookie 弹窗和社交媒体嵌入代码包裹。这类冗余信息不仅浪费 Token,还会稀释嵌入向量的语义密度,影响检索准确率。Accept Markdown 的思路不是让 AI 公司调整模型,而是让网站所有者在服务端做一次轻量改造,便能大幅提升 AI 抓取的信噪比。

这一方案的现实意义在于它推动了“面向 Agent 的网站优化”这一新范式。Cloudflare 等基础设施服务商已提供零配置的 Markdown 转换选项,说明行业正在将 AI 友好输出视为基础能力而非可选特性。对内容创作者而言,谁能更早让 AI 低成本、高保真地读取内容,谁就能在 AI 生成答案的引用来源中占据更有利的位置。

对用户/开发者/创作者的影响

对开发者来说,配置成本极低:只需在服务器或边缘节点识别 Accept 标头并转发到 Markdown 渲染逻辑,做好 Vary 响应头与缓存控制即可,且不会影响普通浏览器获取 HTML 的体验。对 AI 应用开发者而言,在调用网页读取工具时主动携带 text/markdown 标头,可以显著缩短首 Token 延迟并节省 API 费用。对内容创作者和站长来说,如果站点已经采用静态站点生成或头部 CMS,生成 Markdown 副产物几乎是零成本的事,却能让 Agent 更容易理解并引用你的内容,相当于为 AI 流量铺平了入口。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

值得观察三点:第一,主流 AI Agent 框架(如 OpenAI、Anthropic 的浏览工具和 LangChain 等检索组件)是否会在客户端默认请求该媒体类型,这将决定该标准能否从倡议变为实际流量习惯;第二,网站响应是否符合 HTTP 内容协商规范——包括 Vary 头设置、406 状态码处理、q 值权重排序,否则可能出现 CDN 缓存污染问题;第三,目前公开信息显示,只有部分新兴 Agent 服务商实际发送此标头,大型 AI 应用是否会跟进,尚待时间检验。

来源:Hacker News

celebrityanime
celebrityanime
文章: 20578

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注