哪些 AI 爬虫来过我的网站？我数了 30 天

要点

• 截至 2026 年 10 月 20 日的 30 天里，Cloudflare 认得出的 AI 爬虫对这个网站发了大约 4,040 次请求。这是一个只有八篇文章的个人网站。
• 大约 3,540 次成功的请求里，约 1,720 次是为了训练；替真人提问去读网页的，只有 26 次。
• 站点地图被读了 687 次，而读得最多的一篇文章也只有 66 次。
• 被爬不等于被引用。OpenAI 的爬虫这个月来了 508 次，ChatGPT 在 12 个回答里一次都没有引用这个网站。
• 如果你的网站用 Cloudflare，就算是免费方案，在 AI Crawl Control 里几分钟就能看到这些。

谁来过：十家公司

截至 2026 年 10 月 20 日的 30 天里，来这个网站的 AI 爬虫流量，大部分出自十家公司。Cloudflare 把同一家公司的爬虫归在一起，所以 OpenAI 那一行包括 GPTBot 和它的另外两个机器人。

Googlebot 是 Google 搜索背后的爬虫，Google 的 AI 回答也用同一个索引，所以 Cloudflare 把它列在这里。第二名是 Anthropic，排在 OpenAI 前面。至于 Perplexity，它的回答在 10 月 17 日确实引用过这个网站，却根本没进前十。

一个星期前，10 月 13 日，同样的 30 天视图显示大约 3,000 次请求：Googlebot 602、ClaudeBot 464、GPTBot 356、Applebot 221。到了 10 月 20 日：Googlebot 889、ClaudeBot 642、GPTBot 373、Applebot 377。两个时间窗口有 23 天是重叠的，所以这不算干净的月度对比。但方向很清楚：爬得更多了，增长主要来自 Google、Anthropic 和 Apple。

它们来做什么

Cloudflare 按用途给每个 AI 爬虫分类，而在这个网站上，训练遥遥领先。截至 2026 年 10 月 20 日的 30 天里，大约 3,540 次成功的请求是这样分的：

我最在意的是最后一行。一个月里，有 26 次，是某个人问了 AI 一个问题，AI 才来这里读一个页面。其他的，都是机器先把东西囤起来，以备日后要用。

它们读了什么

这个网站上被读得最多的，不是文章，而是文章清单。截至 2026 年 10 月 20 日的 30 天里：

四个站点地图文件加起来被请求了 687 次，最热门的一篇文章是 66 次。爬虫把大部分访问花在弄清楚「有什么」上，真正去读的反而少得多。一共有 271 个不同的路径被请求过。换成流量，整个月大约 74 MB，其中 Googlebot 占 18.63 MB，GPTBot 占 11.24 MB。在 Cloudflare 的免费方案上，这没花我一分钱。

所以，一份正确、及时更新的站点地图，比任何专门为 AI 做的文件都重要。截至 10 月 13 日的 30 天里，同样这些爬虫抓我的 llms.txt 零次，抓 robots.txt 605 次。

冒用爬虫名字的扫描器

不是每一个顶着 AI 爬虫名字的请求，都来自 AI 公司。截至 2026 年 10 月 20 日的 30 天里，最常被请求、却不存在的十个路径中，有八个是放密码和密钥的文件：

• /web.config 和 /credentials.json，各 4 次
• /.env.local、/.env.bak、/terraform.tfvars、/.git/config、/application.yml 和 /.git/HEAD，各 3 次

真正的训练爬虫是顺着链接和站点地图走的，没有理由去要一个没有任何地方链接到的 .env 文件。这些是扫描器，在用户代理里借用了爬虫的名字；而在免费方案上，Cloudflare 正是靠这个名字认爬虫，所以它们也被算成了 AI 爬虫。每一次都得到 404，因为这些文件在这里一个都没有。借用名字就是这么容易：我第一次检查这个网站时，就在自己的电脑上这样做过，用来看每个爬虫会拿到什么。

如果你的网站是别人帮你做的，今天就请对方查一查。在浏览器里打开 你的网址/.env 和 你的网址/.git/config，两个都应该是错误页面，绝不能下载到文件。

被爬不等于被引用

这么多的读取，到现在还没有变成提到这个网站的 AI 回答。把同一个月的数字放在一起看：

• 截至 10 月 20 日的 30 天里，OpenAI 的爬虫被放行了 508 次。10 月 17 日，我问了 ChatGPT 十二个这个网站能回答的问题，从我的名字到每篇文章的题目，它在 12 个回答里引用这个网站 0 次。
• Microsoft 的 BingBot 来了 309 次。Bing Webmaster Tools 的 AI Performance 报告显示，三个月里引用 0 次。
• Google 来了 961 次。在 Search Console 截至 10 月 17 日的 28 天里，这个网站在 Google 的 AI 功能里有 14 次展示。
• Perplexity 不在前十名里，10 月 17 日却在 8 个回答里引用了这个网站 4 次。

爬虫来过，只代表我的页面进了那一大堆材料里。回答会不会引用它，要看页面写了什么、还有谁在写同样的东西，以及引擎有多信任这个网站。来访的次数，预测不了被引用的次数。

那些回答有没有给我带来访客，我也说不出来。Cloudflare 的 Referral Traffic 一栏，每个路径都只显示一个横线。它的文档说，来源统计只给付费方案，所以在免费方案上，那条横线的意思是「没有统计」，不是零。

怎么查哪些 AI 爬虫来过你的网站

有三种方法。如果你的网站本来就在 Cloudflare 上，第一种几分钟就够，免费方案也行。

1. Cloudflare AI Crawl Control。 登录 Cloudflare 后台，选你的账户和域名，打开 AI Crawl Control。

• Overview 显示总数和各家公司。
• Crawlers 列出每个爬虫、所属公司、用途、放行和失败的请求数，以及它现在是被允许还是被挡。
• Metrics 是图表。把范围设成「Last 30 days」，这是它能选的最长范围。按 Category 分组可以看用途，看「Most crawled paths」，或者按路径筛选，看某一页被谁读过。
• robots.txt 不在 Metrics 里，Cloudflare 把它放在 Signals 页面统计。

两个限制：在免费方案上，爬虫是按它报的名字来认的，所以一个冒用 GPTBot 名字的扫描器，也会被算作 GPTBot；而且看不到 30 天以前的数据。

2. 你的服务器日志。 如果你的网站不在 Cloudflare 上，就向主机商要原始访问日志；用 cPanel 的主机，在「Raw Access」里。然后数一数爬虫的名字：

grep -oiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|PerplexityBot|Googlebot|Bingbot|Applebot|PetalBot|Meta-ExternalAgent|CCBot|Amazonbot|Bytespider" access.log | sort | uniq -c | sort -rn

名字只是名字，所以要紧的请求，要核对它的地址：Google 和 OpenAI 都公布了自家爬虫用的地址段。Google Analytics 里看不到这些。它会把已知的机器人排除在外，而且这些爬虫大多根本不运行它的脚本。

3. 你的 robots.txt。 日志告诉你谁来过，robots.txt 决定谁可以来。我的免费 AI 爬虫检查工具会一次替每个主要 AI 爬虫读一遍你的 robots.txt，告诉你哪些被放行。想知道爬虫实际拿到了什么，就像我第一次检查时那样，用它的名字请求一个页面。

为什么我让它们全都进来

我的 robots.txt 让这些爬虫全都进来，训练用的也一样。我在这里写东西，是为了让人、搜索引擎和 AI 回答都能找到我的想法，而一个回答不可能引用它的爬虫从没读过的页面。一个月的数据没有改变这一点，只让我看清楚：让它们进来只是开始，不是结果。

常见问题

怎么查哪些 AI 爬虫访问了我的网站？

如果你的网站在 Cloudflare 上，打开这个域名的 AI Crawl Control：它会列出它认得出的每个 AI 爬虫、所属公司、用途和读过的页面，最长 30 天，免费方案也有。否则，就在服务器的访问日志里搜 GPTBot、ClaudeBot、PerplexityBot 这些名字。想知道你的 robots.txt 放行了哪些机器人，可以用 AI 爬虫检查工具。

哪些 AI 爬虫来得最多？

在这个网站上，截至 2026 年 10 月 20 日的 30 天里，放行请求最多的是 Google（961），接着是 Anthropic（680）、OpenAI（508）、Apple（377）和 Microsoft（309）。按单个爬虫算，Googlebot 889 次领先，然后是 ClaudeBot 642、Applebot 377、GPTBot 373。别的网站会不一样，但要先找的就是这几个名字。

AI 训练爬虫和 AI 搜索爬虫有什么不同？

训练爬虫，比如 GPTBot 和 ClaudeBot，收集网页来训练 AI 模型。AI 搜索爬虫，比如 OAI-SearchBot，建立 AI 回答问题时要搜的索引。AI 助手的抓取，比如 ChatGPT-User 或 Claude-User，是有人提问、助手替他去读一个页面。在这个网站上，第三种在 30 天里只有 26 次，总共约 3,540 次。

机器人能假装成 AI 爬虫吗？

能。任何程序都可以在用户代理里写上 GPTBot 或 ClaudeBot。在这个网站上，截至 2026 年 10 月 20 日的 30 天里，就有顶着 AI 爬虫名字的请求来要 .env、.git 和 credentials.json 这类文件，真正的爬虫根本用不着它们。要核对请求的地址是否在那家公司公布的地址段里，也不要把任何机密文件放在网站服务器上。

AI 爬虫来过我的网站，ChatGPT 就会引用它吗？

不一定。截至 2026 年 10 月 20 日的 30 天里，OpenAI 的爬虫对这个网站发了 508 次请求，而 10 月 17 日 ChatGPT 在 12 个回答里引用它 0 次。被爬，只是让你的页面进了那一大堆材料；会不会被引用，要看页面写了什么，以及引擎有多信任你的网站。