llms.txt 有用吗？30 天里，没有一个 AI 爬虫读过我的

要点

• 30 天里，没有任何一个 Cloudflare 认得出的 AI 爬虫来抓过这个网站的 /llms.txt 或 /llms-full.txt，一次都没有。
• 同样的 30 天，这些爬虫抓了 robots.txt 605 次、文章站点地图 192 次、首页 207 次。
• 想让 AI 爬虫找到你的页面，它们读的是 robots.txt、站点地图和普通的 HTML 页面。llms.txt 取代不了其中任何一个。
• 这次只数到 Cloudflare 认得出的爬虫，时间是 30 天。真人来看，或者 AI 工具以普通浏览器的身份来抓，这里都看不到。

我的 llms.txt 写了什么

2026 年 10 月 13 日，我的 llms.txt 是一份 6,406 字节的 Markdown，由运行这个网站的 Cloudflare Worker 在每次被请求时现场生成，内容来自网站上同样的页面和文章。第一版在 2026 年 8 月 1 日放上去；从 9 月 28 日起，每次请求都重新生成。它的开头是这样的：

# Yap Pat Yih

> General Manager and co-founder of BlackRevo, founder of Habitus Mind, builder of Lumen. Based in Kuala Lumpur, Malaysia. Works on systems where people and AI work together.

接下来是一小段关于我的介绍，然后是两份清单，「Pages (English)」和「Writing」，每个页面一行：标题、地址，以及这一页讲什么。

它还有一个伙伴 llms-full.txt，从 2026 年 9 月 29 日起就在，把每篇文章的全文放进同一个文件，2026 年 10 月 13 日时共 122,659 字节。两个文件都以纯文本发出。

我是怎么数的

Cloudflare 的 AI Crawl Control 会按路径，数出它认得出的 AI 爬虫对一个网站发了多少请求，这个网站用的免费方案就有。2026 年 10 月 13 日，我用它筛选所有包含 llms 的路径，范围选它最长的「最近 30 天」，起点是 9 月 14 日。结果是「No requests data found」，没有任何请求。第二天早上我又看了一次，7 天和 30 天：还是零。

一个零要有意义，前提是这个筛选本来就看得到这个文件。所以我核对了三件事：

1. 同一个路径筛选，7 天里找到 97 次对 /sitemap-posts.xml 的请求。筛选是有效的。
2. 「路径包含 .txt」在 30 天里找到一次请求：BingBot 来抓这个网站给 IndexNow 用的小小密钥文件。文本文件是会被数到的。
3. llms 这两个文件，和文章页面一样，都是同一个 Worker 在每次请求时生成的，而文章页面会被数到：同样的 30 天里，一篇文章有 57 次请求。

这些数字是 Hand 读的，它是我用来经营这个网站的两个 AI 会话之一，在我的 Cloudflare 账户里只读，不改任何东西。

AI 爬虫读的是什么

同样的 30 天里，Cloudflare 认得出的 AI 爬虫对这个网站一共发了大约 3,000 次请求。和这篇文章有关的是这些：

192 次站点地图请求里，ClaudeBot 占了 128 次，三分之二。Cloudflare 把 robots.txt 放在另一个页面 Signals 里统计，那里不按爬虫分开；605 次全部成功。

爬虫来了，而且来得很勤。它们读的，是爬虫这些年来一直在读的东西：robots.txt 看规则，站点地图找页面，然后是页面本身。

提出 llms.txt 的人和 AI 公司怎么说

llms.txt 是 Jeremy Howard 在 2024 年 9 月 3 日于 llmstxt.org 提出的，而这份提案本身并没有把爬虫放在第一位。它描述的是一个按需读取的文件：AI 工具在帮某个人做事、需要了解某个主题的时候，才去读它。提案说得很直接，原本就预期它主要用在 AI 回答问题的时候，而不是用来训练模型。我的测量只看得到爬虫，所以测的是提案并没有放在首位的那种用途。

Google Search Central 关于「AI 功能和你的网站」的页面说，要出现在 Google 的 AI 功能里，不需要新建任何机器可读文件或 AI 文本文件。那一页没有点名 llms.txt。

OpenAI、Anthropic 和 Perplexity 都为自己的爬虫写了说明，也都请网站主用 robots.txt 来管理它们。这些爬虫说明页里，没有一页说爬虫会读网站的 llms.txt。不过三家都为自己的开发者文档放了一份 llms.txt，这正合提案的本意：给被叫来查文档的工具读，而不是给满网爬的爬虫读。

这次测量看不到什么

Cloudflare 的 AI 爬虫视图只数它认得出的爬虫，所以有三种访问在这里是看不见的：真人用浏览器打开 /llms.txt；Cloudflare 认不出的机器人；还有 AI 工具在帮人做事时来抓这个文件，却以普通浏览器的身份出现。最后这一种，恰恰就是提案描述的用途，我没办法排除。

9 月 14 日之前的情况我也看不到。30 天是这个面板能选的最长范围，免费方案的其他分析工具不能按路径筛选，而这个 Worker 也不留日志。

所以，老实说能下的结论很窄：在这 30 天里，没有一个 Cloudflare 认得出的 AI 爬虫来要过这个文件。

为什么我还是留着它

两个文件我都留着，理由有两个。第一，它们不花成本：Worker 用网站上本来就有的文章生成它们，没有什么需要手动维护。第二，有人，或者有人叫来看这个网站的 AI 工具，可以读一份干净的文字，而不必面对满是排版的网页。

就算从来没有人来要，我也没损失什么。我不会做的，是把它当成被找到的方法。

如果你想让 AI 读到你的网站

上面的数字说明了 AI 爬虫在这个网站上真正读的是什么：robots.txt、站点地图和页面。功夫应该花在这里。

1. 让爬虫进得来。检查你的 robots.txt 没有挡住它们，你的主机或防火墙也没有。这是我检查自己网站的方法。
2. 准备一份列出每个页面的站点地图，并在 robots.txt 里写明它的地址。
3. 让每个页面都是普通的 HTML，文字不用等脚本跑完才出现。
4. 如果你要加 llms.txt，就把它当成给读者和工具的方便，而不是被找到的一步，并且量一量到底有没有东西来要它。

常见问题

llms.txt 是什么？

llms.txt 是放在网站根目录 /llms.txt 的一个 Markdown 文件，写出网站的名字、一句引用格式的简介，以及主要页面的清单，每页附一句说明。它由 Jeremy Howard 在 2024 年 9 月 3 日于 llmstxt.org 提出，目的是在有人请 AI 工具了解一个网站时，帮它很快读懂。

Google 会用 llms.txt 吗？

Google Search Central 关于 AI 功能的页面说，要出现在 Google 的 AI 功能里，不需要新建机器可读文件或 AI 文本文件。那一页没有点名 llms.txt。所以加一份 llms.txt，并不是通往 Google AI 回答的一步。

AI 爬虫会读 llms.txt 吗？

在这个网站上不会。2026 年 9 月 14 日到 10 月 13 日，Cloudflare 认得出的 AI 爬虫抓 /llms.txt 和 /llms-full.txt 的次数是零，同一段时间里抓 robots.txt 605 次。OpenAI、Anthropic 和 Perplexity 为爬虫写的说明都是 robots.txt，没有说它们的爬虫会读 llms.txt。

我的网站该不该加 llms.txt？

如果你能很省事地让它保持准确，就加上，当作给来找它的人和 AI 工具的方便。别指望它带来爬虫或搜索流量：在这个网站上，30 天里一次都没有。功夫先花在 robots.txt、站点地图和普通的 HTML 页面上。

llms.txt 和 robots.txt 有什么不同？

robots.txt 告诉爬虫哪些路径可以抓，OpenAI、Anthropic 和 Perplexity 都把它写成管理自家爬虫的方法。llms.txt 是网站的简介加页面清单，是给 AI 工具在有人问起这个网站时读的。在这个网站上，30 天里 AI 爬虫抓 robots.txt 605 次，抓 llms.txt 零次。