哪些马来西亚网站挡了 AI 爬虫？我查了 100 个

要点

• 2026 年 10 月 20 日，100 个马来西亚主要网站里，有 13 个在 robots.txt 里至少挡了 17 个 AI 爬虫中的一个。没有一个 17 个全挡。
• 新闻网站挡得最多：15 个里有 5 个，包括《新海峡时报》、Harian Metro 和马新社。我读得到文件的银行、电信、旅游和大学网站，没有一个挡任何 AI 爬虫。
• 被挡最多的是 OpenAI 的 GPTBot（9 个网站），其次是 CCBot 和 Bytespider（各 8 个），以及 Anthropic 的 ClaudeBot（7 个）。用来让页面不进 Google AI 模型的 Google-Extended，只有 4 个网站挡。
• 大多数是挡训练，不是挡搜索：13 个网站里有 10 个挡了训练爬虫，却让 OpenAI 和 Perplexity 的搜索爬虫照样进来。
• 13 个挡 AI 的文件里，有两个是同一个文件，一字不差：一段标着「Cloudflare Managed content」的规则，出现在 KWSP 和 EdgeProp 上。

100 个里 13 个挡 AI 爬虫，没有一个全挡

2026 年 10 月 20 日我查的 100 个马来西亚主要网站里，13 个叫至少一个 AI 爬虫别进来，其余的大多对 AI 一个字也没提。

这里的「挡」，是指文件叫那个爬虫不要抓首页「/」；除非另外为它开放别的路径，这等于把它挡在整个网站外面。我数的是 17 个 AI 爬虫，出自我的免费检查工具用的 20 个名单。另外三个，Googlebot、Bingbot 和 Applebot，是搜索引擎爬虫，样本里没有一个网站挡 Googlebot。

马来西亚的大网站，多数还没有把对 AI 的选择写下来。我读得到的 78 个文件里，只有 18 个提到任何 AI 爬虫。其余 60 个完全没有提到 AI。

一个更大的调查也指向同一个方向。网络数据公司 Zyte 在它的 State of Web Access 2026 里报告，它看过的 1,106 个马来西亚网站中，13.4% 挡 AI 爬虫，78.2% 有 robots.txt。我的样本比较小，但每一个网站都有名有姓。

新闻网站挡得最多

新闻是唯一一个挡 AI 爬虫算常见的行业：我查的 15 个新闻网站里，5 个至少挡一个。

按语言分，8 个英文新闻网站里有 4 个挡 AI 爬虫：《新海峡时报》、Free Malaysia Today、The Edge Malaysia 和马新社。4 个马来文网站里有 1 个，Harian Metro；《每日新闻》（Berita Harian）拒绝了我的请求，所以说不准。3 家中文报，《星洲日报》、《中国报》和《东方日报》，一个都不挡。《星报》挡了一个不在我这 17 个名单里的机器人：从网页提取数据的 Diffbot（「user-agent: Diffbot」，然后「Disallow: /」）。

新闻以外，挡的很少，也很分散：政府里的 KWSP 和国家银行，网购里的 Zalora 和 Lotus's，求职里的 Maukerja 和 Ricebowl，房产里的 EdgeProp，还有 foodpanda。银行是最难读的行业：10 家里只有 5 家给出了我的脚本读得到的 robots.txt。

马来西亚网站挡的是哪些 AI 爬虫

训练爬虫被挡的次数，远多于为 AI 回答抓页面的机器人。为 OpenAI 模型收集训练页面的 GPTBot，被 100 个网站里的 9 个挡住。

13 个挡 AI 的网站里，有 10 个至少挡了一个训练爬虫，GPTBot、ClaudeBot 或 CCBot，却让 OAI-SearchBot 和 PerplexityBot 自由进来。只有 4 个网站挡了为 AI 搜索或替人提问去抓页面的机器人。

Google 的 AI 被挡得比 OpenAI 的少。Google-Extended 是 robots.txt 里表明 Google 能否把页面用于 AI 模型的标记，只有 4 个网站挡它，不到挡 GPTBot 的 9 个的一半。《新海峡时报》和 Harian Metro 挡了 GPTBot 和 ClaudeBot，却给 Google-Extended 写了「Allow: /」。

这 13 个文件怎么写

下面每一条，都是该网站 2026 年 10 月 20 日自己的 robots.txt 里的事实，规则照原文引用。

《新海峡时报》和 Harian Metro 最严，17 个 AI 爬虫挡了 12 个。两个文件除了一个文件夹名字，完全一样。OpenAI、Anthropic 和 Perplexity 的搜索与助手机器人被挡在首页外，却被放进一个栏目：《新海峡时报》是「Allow: /plus/」，Harian Metro 是「Allow: /hmextra/」。两个文件都有一行「Content-Signal: search=yes,ai-input=no,ai-train=no」，《新海峡时报》那份开头还有一个标着 2026 年 10 月 16 日的标题。

马新社 挡五个：GPTBot、ChatGPT-User、ClaudeBot、Bytespider 和 CCBot。它的文件用马来文在注释里写了原因：「Halang Bot AI / Scraper Agresif (Ringankan Beban Server)」，意思是挡住 AI 机器人和过于频繁的抓取程序，减轻服务器负担。

The Edge Malaysia 的屏蔽文件是样本里最短的：四行，54 字节，只挡 GPTBot，其他全部放行。

Free Malaysia Today 点名了 15 个 AI 爬虫，其中大多数被点名放行，GPTBot、ClaudeBot、PerplexityBot 和 Google-Extended 都在内。它挡三个：CCBot、Bytespider 和 Amazonbot。

KWSP 和 EdgeProp 用的是同一个文件，一字节都不差。那是一段标着「# BEGIN Cloudflare Managed content」的规则，挡住八个和 AI 训练有关的爬虫和标记，包括 GPTBot、ClaudeBot 和 Google-Extended，并写着「Content-Signal: search=yes,ai-train=no,use=reference」。也就是说，13 个挡 AI 的网站里，有两个用的是 CDN 提供的文件。

国家银行 只挡一个 AI 爬虫，Common Crawl 的 CCBot（「User-agent: ccbot」），排在一长串被挡的 SEO 工具和其他搜索引擎机器人的最后。

Lotus's 挡 GPTBot、ChatGPT-User、Google-Extended 和 CCBot。它也点了「anthropic-ai」和「Claude-Web」，这是 Anthropic 机器人的旧名字，却没有点 ClaudeBot，也就是 Anthropic 爬虫现在用的名字。所以 ClaudeBot 适用文件里的通用规则，而通用规则让它进来。

foodpanda 挡 GPTBot，却给 OAI-SearchBot 和 ChatGPT-User 写了「Allow: /」。这正是 OpenAI 自己的文档描述的分法：不进训练，照样进 ChatGPT 搜索。

Zalora 只挡 Meta 的训练爬虫：「User-agent: meta-externalagent」，然后「Disallow: *」。

Maukerja 和 Ricebowl 是两个通用规则几乎一样的求职网站，挡的却不是同一批。Maukerja 挡 GPTBot、ClaudeBot、Google-Extended、Amazonbot 和 Bytespider；Ricebowl 挡 ClaudeBot、Meta-ExternalAgent 和 Bytespider。

还有一个值得一提，虽然我把它算作放行。JobStreet 马来西亚 给 GPTBot、CCBot、Google-Extended、Bytespider 和另外三个机器人写了「Disallow: /companies」和「Disallow: */job/」。AI 训练爬虫被挡在公司页面和招聘广告外，首页仍然开放。

点名说「欢迎」的网站

有些马来西亚网站点 AI 爬虫的名字，只是为了让它们进来，这些文件和屏蔽一样，都是刻意写的。

• 丰隆银行 有一段标题为「# AI CRAWLERS」的规则，给 GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot 和 Meta 的爬虫等写了「Allow: /」。
• paultan.org 在一个组里点了 16 个 AI 爬虫，并加上「Content-Signal: ai-train=yes, search=yes, ai-input=yes」。
• Lazada 马来西亚 点了 OpenAI 的三个机器人，GPTBot、OAI-SearchBot 和 ChatGPT-User，每个都是「Allow: /」。

读不到的 13 个，和没有文件的 9 个

100 个网站里有 13 个不让我的脚本读它们的 robots.txt，这本身就是一个发现。

8 个回了「403 Forbidden」：TM、《每日新闻》、卫生部、PG Mall、Watsons、PropertyGuru、Batik Air 和麦当劳马来西亚。这些回答大多来自网站前面的一层服务：回应里写着 Cloudflare 的有四个，Akamai、Microsoft Azure 的网关和 Envoy 各一个。403 说明这个网站在机器人碰到任何文件之前，就先把不认识的机器人筛掉了。它不说明这个网站的 robots.txt 写了什么，也不说明它怎么对待 GPTBot 本身。

4 个没有回应。Maybank2u 关闭了连接，大众银行 10 秒内没有回答，MyKasih 重置了连接；至于 JPA，我的脚本无法验证网站的证书链，这个缺口浏览器常常能自己补上。Indeed 马来西亚把我的请求转了三次，转到一个登录页。

9 个网站根本没有 robots.txt。AmBank、Bank Islam、FPX、气象局（MetMalaysia）、马来亚大学、国民大学（UKM）、理科大学（USM）和 Air Selangor 回了 404，Firefly 的 robots.txt 地址则转到它的首页。按照 robots.txt 标准，没有文件就表示每个爬虫都可以抓取一切，所以我把这 9 个算作让所有 AI 爬虫进来。

我是怎么查的

2026 年 10 月 20 日，马来西亚时间 16:31 到 16:34，一个小脚本向每个网站发了一次请求：通过 HTTPS 要 /robots.txt，最多跟随三次转址，最多等 10 秒，每秒一个网站。它的用户代理写明了这项研究，并附上我的检查工具的链接。除此之外，它什么都没抓。

• 样本。 十个行业里 100 个马来西亚主要网站，由我挑选。其中 39 个来自 Similarweb 公开的 2026 年 9 月马来西亚热门网站排名；其余是各行业里大多数马来西亚人都知道的名字。区域品牌用的是马来西亚的网站，比如 shopee.com.my。这不是访问量最高的 100 个网站的名单。
• 读法。 用的是我的免费 AI 爬虫检查工具同一套解析器，遵循 robots.txt 标准 RFC 9309：在自己的组里被点名的爬虫，就照那个组的规则；匹配到的规则里，最长的那条说了算。
• 地址。 当天下午第一次运行时发现，有 16 个网站的裸域名并不提供网站本身；比如 jpj.gov.my 根本解析不到，网站在 www.jpj.gov.my。正式计数的那一次运行之前，我把这 16 个都改成了网站实际所在的地址。
• 核对。 另一个和第一个不共用任何代码的脚本，把 78 个文件重新读了一遍，重算了这篇文章里的每一个数字。1,560 个判定，差异是 0。

这次检查看不到的：

• robots.txt 是请求，不是锁。爬虫可以不理它。
• 网站可以在防火墙或 CDN 上挡 AI 爬虫，robots.txt 里一行都不写。这种屏蔽在这里看不到。
• 我只查了首页路径。只把 AI 爬虫挡在部分栏目外的网站，比如 JobStreet，算作放行。
• 我的脚本不是 GPTBot。网站对真正的爬虫可能会有不同的回应。
• 这只是一个下午。文件会变；《新海峡时报》那份标着的日期，只比我检查的那天早四天。

100 个网站各自的结果都在这个 CSV 文件里，可以自由使用，请附上本文链接。

马来西亚的企业该怎么处理自己的 robots.txt

马来西亚的大网站，多数还没有把对 AI 爬虫的选择写下来，你的网站可能也没有。什么都不写，就是让每个爬虫都进来，这本身也是一个选择。五个步骤。

1. 把两件事分开决定。 AI 公司可以用你的页面训练模型吗？AI 搜索引擎可以读你的页面来引用、链接你吗？两个答案可以不同，robots.txt 两样都能写。在这个网站上，我让它们全都进来，因为一个回答不可能引用它的爬虫从没读过的页面；一个月的 AI 爬虫来访让我看清了这样做带来什么，又带不来什么。
2. 想出现在 AI 回答里，就让搜索和助手机器人进来。 OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User 和 PerplexityBot 抓页面，是为了能链接回你的回答。只挡 GPTBot，挡掉的是 OpenAI 的训练，不是 ChatGPT 搜索；foodpanda 的文件正是这样写的。
3. 用现在在用的名字。 挡「anthropic-ai」或「Claude-Web」，挡不住 ClaudeBot。想让页面不进 Google 的 AI 模型、又不离开 Google 搜索，要写的是 Google-Extended，不是 Googlebot。
4. 看看文件前面挡着什么。 如果你的 CDN 或防火墙对机器人回 403，你的 robots.txt 可能永远没人读到，你本想欢迎的爬虫也可能被拒之门外。想知道爬虫实际拿到了什么，就像我在自己的检查里那样，用它的名字请求一个页面。
5. 像爬虫那样读你的文件。 AI 爬虫真正会来要的是 robots.txt：截至 10 月 13 日的 30 天里，它们抓了我的 605 次，我的 llms.txt 一次都没有。我的免费 AI 爬虫检查工具会一次替 20 个爬虫读你的 robots.txt，告诉你哪些放行、哪些被挡。

常见问题

马来西亚的网站会挡 AI 爬虫吗？

有一些会。2026 年 10 月 20 日，我查的 100 个马来西亚主要网站里，有 13 个在 robots.txt 里至少挡了一个 AI 爬虫，没有一个全部挡掉。74 个让所有 AI 爬虫进来，13 个不让我的脚本读它们的文件。

马来西亚哪些新闻网站挡 GPTBot？

2026 年 10 月 20 日，《新海峡时报》、Harian Metro、马新社和 The Edge Malaysia 在 robots.txt 里挡了 GPTBot。Free Malaysia Today 点名放行 GPTBot，同时挡了 CCBot、Bytespider 和 Amazonbot。《星报》、当今大马、Malay Mail、Astro Awani、Sinar Harian、Utusan、《星洲日报》、《中国报》和《东方日报》，这项研究的 17 个 AI 爬虫一个都没挡；《星报》挡了 Diffbot，一个不在名单里的数据提取机器人。

挡了 GPTBot，我的网站就不会出现在 ChatGPT 里吗？

不完全是。GPTBot 收集页面来训练 OpenAI 的模型，而 ChatGPT 的搜索用的是 OAI-SearchBot，有人问到的页面由 ChatGPT-User 去抓。只挡 GPTBot 的网站，仍然可以出现在 ChatGPT 的回答里，foodpanda 马来西亚的 robots.txt 就是这样设的。

怎么查我的网站挡了哪些 AI 爬虫？

打开 你的域名/robots.txt，找点了 AI 机器人名字的 user-agent 行，比如 GPTBot、ClaudeBot、PerplexityBot 或 Google-Extended，后面跟着「Disallow: /」。免费的 AI 爬虫检查工具可以一次替 20 个爬虫读这个文件。然后问问管你 CDN 或防火墙的人，它有没有挡 AI 机器人，因为这在 robots.txt 里永远看不到。

只靠 robots.txt 能挡住 AI 爬虫吗？

不能。robots.txt 是守规矩的爬虫会遵守的请求，不是锁；不理它的爬虫，只能在防火墙或 CDN 上挡。用 robots.txt 表明你的选择，用防火墙对付不听话的机器人。