Yap Pat Yih
联系我

AI 爬虫检查工具

输入你的域名。它会按照 AI 爬虫被要求的方式读取你的 robots.txt，告诉你 20 个爬虫里，哪些能进来，哪些被挡在门外。

我先手动检查了自己的网站，后来才做了这个工具。它只从你的域名抓取两个文件：/robots.txt 和 /llms.txt，别的什么都不碰。结果针对的是首页，也就是路径 /。

判断规则依照 robots.txt 的标准 RFC 9309：点名某个爬虫的规则组优先于 * 组；匹配最长的规则胜出；长度相同时，Allow 胜出。它也会告诉你 robots.txt 里有没有写明 sitemap，以及网站有没有 llms.txt。

例如 example.com 或 https://example.com/blog/。只会用到域名部分。

检查的 20 个爬虫，按公司分组，以及各自的用途。
爬虫用途你的网站
OpenAI
GPTBot抓取网页，用于训练 OpenAI 的模型。
OAI-SearchBot为 OpenAI 的搜索回答建立索引。
ChatGPT-User有人向 OpenAI 的助手问起某个网页时，替他抓取这个网页。
Anthropic
ClaudeBot抓取网页，用于训练 Anthropic 的模型。
Claude-SearchBot为 Anthropic 的搜索回答建立索引。
Claude-User有人向 Anthropic 的助手问起某个网页时，替他抓取这个网页。
Perplexity
PerplexityBot为 Perplexity 建立索引，让它在回答中展示并链接网页。
Perplexity-User有人向 Perplexity 问起某个网页时，替他抓取这个网页。
Google
GooglebotGoogle 的搜索爬虫。它的索引也用于 Google 搜索里的 AI 回答。
Google-Extended不是爬虫，而是 robots.txt 里的一个标记，决定 Google 能否把你的网页用于它的 AI 模型。
Microsoft
BingbotMicrosoft 的搜索爬虫。它的索引支撑 Bing 以及基于 Bing 的 AI 回答。
Apple
ApplebotApple 的爬虫，用于 Siri 和 Spotlight 的建议。
Applebot-Extended不是爬虫，而是 robots.txt 里的一个标记，决定 Apple 能否用你的网页训练它的 AI 模型。
Meta
Meta-ExternalAgent抓取网页，用于训练 Meta 的 AI 模型。
Meta-ExternalFetcher有人向 Meta 的 AI 问起某个网页时，替他抓取这个网页。
Amazon
AmazonbotAmazon 的爬虫。Amazon 表示，它收集的内容可能用于训练自家的 AI 模型。
ByteDance
Bytespider字节跳动的爬虫，抓取网页用于训练 AI 模型。
Common Crawl
CCBot为 Common Crawl 抓取网页。这个开放的网页存档是许多 AI 模型的训练数据。
DuckDuckGo
DuckAssistBot为 DuckDuckGo 的 AI 回答抓取网页。
Mistral
MistralAI-User有人向 Mistral 的助手问起某个网页时，替他抓取这个网页。

这个工具不检查什么

  • 你的防火墙或 CDN。 robots.txt 可能写着允许，但 Cloudflare 的 AI 机器人设置、防火墙规则或机器人过滤器，仍可能对爬虫返回 403。这个工具只读取文件上写了什么。替用户抓取网页的程序，也可能根本不读 robots.txt。
  • 你的服务器日志。 它无法告诉你哪些爬虫真的来过，来过几次。
  • AI 会不会引用你。 能被读取只是第一步。会不会被引用，取决于页面上写了什么，以及还有谁在写同一个题目。

想知道爬虫实际拿到了什么，就用它的名字请求一个页面。我是怎么检查 AI 爬虫能不能读取自己的网站的，文中有命令，也有我现在固定做的五项检查。

关于 llms.txt，我统计了 30 天：没有一个 AI 爬虫读过我的 llms.txt，同一时期它们抓取了 robots.txt 605 次。

常见问题

怎么检查哪些 AI 机器人能访问我的网站？

先看 robots.txt：在上面输入你的域名，这个工具会替你读取它对 20 个 AI 爬虫的规定。再看你的防火墙或 CDN，因为那里的阻止会盖过 robots.txt 里的允许。想要确定，就用每个爬虫的 user agent 请求一个页面，看返回的状态码。200 就代表它进得来。

阻止 GPTBot，会让我从 ChatGPT 搜索里消失吗？

不会。GPTBot 抓取网页是为了训练。OpenAI 的搜索用的是 OAI-SearchBot，用户问起某个网页时，抓取它的是 ChatGPT-User。如果你不想被用于训练、又想出现在它的搜索回答里，就阻止 GPTBot，允许 OAI-SearchBot。

一定要有 llms.txt 吗？

不用。它只是一项提案，不是标准。OpenAI、Anthropic 和 Perplexity 都让网站主用 robots.txt 管理它们的爬虫，也都没有说这些爬虫会读 llms.txt。在我自己的网站上，30 天里 AI 爬虫读取它的次数是零。我保留它，是因为它不花任何成本；但 robots.txt、sitemap 和纯 HTML 页面更重要。