robots.txt 的三个误会：你以为在保护内容，其实在屏蔽 AI

robots.txt 的三个误会：你以为在保护内容，其实在屏蔽 AI

很多站长把 robots.txt 当成"内容保险箱"：加一行 Disallow，以为就能把不想公开的页面藏起来。但真实情况可能相反——这一行字，正在把 AI 爬虫挡在你的官网门外。

误会一：robots.txt 能阻止页面出现在搜索结果里

不能。Google 官方说得很直白：robots.txt 不是阻止索引的机制，它只是管理抓取流量。你用它屏蔽一个网页，那个 URL 仍然可能出现在搜索结果里，只是结果下面没有描述摘要——用户看到一个光秃秃的链接，点进来一片空白，体验反而更差。

想真正让页面不出现，可靠性排序是这样的：直接删除网页最可靠；其次是密码保护；再其次是 noindex 标记；robots.txt 只能管图片和视频不被索引。把 robots.txt 当主防线，顺序从根上就错了。

误会二：robots.txt 能挡住所有爬虫

它本质上是一份"君子协定"：正规爬虫遵守，恶意爬虫不遵守。robots.txt 里的命令没有强制力，是否遵循全凭抓取工具自觉。你的敏感信息、客户名单，放在 robots.txt 后面等于没设防，正确做法是密码保护。

但这件事有个硬币的另一面：对正规 AI 爬虫来说，君子协定是当真的。Google 的生成式 AI 模型需要利用公开、可抓取的内容来学习模式——也就是说，被 robots.txt 屏蔽，就等于对 AI 不存在。你拦的不是"小偷"，是 AI 的眼睛。

误会三：一刀切 Disallow: /，把引用爬虫一起挡了

这是最致命的误会。很多人为了省事直接 Disallow: /，全站拒抓。你可能不知道，OpenAI 名下其实有两个独立爬虫：一个叫 OAI-SearchBot，负责在 ChatGPT 搜索结果里展示你的网站；另一个叫 GPTBot，负责拿内容去训练模型。

两个爬虫是可以分别控制的：你完全可以 allow OAI-SearchBot、同时 disallow GPTBot——让内容被 ChatGPT 引用，却不拿去训练。反过来说，如果你把 OAI-SearchBot 禁了，你的网站就不会出现在 ChatGPT 的搜索回答里，顶多作为一个导航链接出现。想被 AI 引用，先搞清楚自己到底挡的是哪个 bot。

两个实操细节别忽略：robots.txt 更新后，OpenAI 的系统大约要 24 小时才生效；如果你两个 bot 都 allow，它可能只爬一次，同时用于两个用途。另外，别只靠 user-agent 头来识别来访爬虫——这个字段可以伪造，正规做法是源 IP 反查加反向 DNS 主机名三重验证。

与其堵，不如引

所以正确姿势不是"防"，是"引"：在官网根目录放一份 llms.txt，相当于专门写给 AI 爬虫的企业名片，写明你是干什么的、有哪些产品、哪些页面值得抓。很多企业官网装了反爬机制，连 AI 爬虫一起挡在外头——这和你的 GEO 目标正好相反。

还有两个技术细节顺手改掉：Googlebot 默认只抓取网页前 15MB 的内容，超出部分直接忽略，页面做得再长也要把核心信息放在前面；它的请求主要从美国 IP 发出，万一你的防火墙把美国 IP 段整体拉黑，抓取频次和成功率都会打折扣。

回到开头那个问题：你那行 Disallow 不是保险箱，是门闸。现在就打开 robots.txt 看一眼——你到底挡住了谁。

（正文完）