让 AI Agent 读懂博客:作者用 nginx 加 markdown 输出与 llms.txt 改造静态站点

开发者博主为 Deallocated Objects 增加 markdown 版本、内容协商和 llms.txt,让 Claude、ChatGPT、Perplexity 等 AI Agent 更省力地抓取和引用博客内容,全部靠构建文件和少量 nginx 配置完成。

一句话看懂:开发者博主为 Deallocated Objects 增加 markdown 版本、内容协商和 llms.txt,让 Claude、ChatGPT、Perplexity 等 AI Agent 更省力地抓取和引用博客内容,全部靠构建文件和少量 nginx 配置完成。

事件核心:发生了什么

2026 年 10 月 24 日,博主在 Hacker News 热度中分享了这次改造:博客是 nginx 托管的静态站,每篇文章现在都有对应的 .md 版本,带 YAML frontmatter;客户端在 Accept 头里请求 text/markdown 时,普通 URL 也会返回 markdown。站点还提供 /llms.txt、/llms-full.txt(约 225 KB 全文)和 /index.md,并在响应头里用 Link 指向 llms.txt。

同时补齐了 robots.txt 的显式允许名单(GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等),加入 Content-Signal 声明;.md 响应带 Vary: Accept、canonical 和 noindex,避免被搜索引擎当成重复内容。

为什么重要

目前公开信息显示,越来越多网页访问者不是人,而是替用户找答案的 AI Agent。HTML 对 Agent 来说噪声大,纯 markdown 更便于解析和引用。这类改造成本低、无需框架,说明“为 AI 可读性做优化”可能像当年的 SEO 一样,成为独立博客和小型站点的常规动作。

对用户/开发者/创作者的影响

对开发者,nginx 的 map 加 rewrite 即可实现内容协商,构建时生成 .md 和 llms.txt 也不复杂;对创作者,主动提供 markdown、摘要和引用方式,有机会提高被 AI 搜索引用的概率。但 robots.txt 里的 ai-train=yes 是博主的个人选择,商业站点未必愿意照搬。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 llms.txt 是否会被更多 AI 搜索工具正式读取;二是 .md 与 HTML 双版本带来的缓存、canonical 处理是否形成通用实践;三是 Bing 的 IndexNow 推送是否真能改善 AI 搜索工具的收录。

来源:Hacker News · 24h最热

celebrityanime
celebrityanime
文章: 29924

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注