AI爬虫看你网站，和用户看到的一样吗？

AI爬虫看你网站，和用户看到的一样吗？

你打开自己的官网，排版漂亮、动效流畅，一切正常。但你有没有想过：AI 爬虫看到的，和你看到的，可能是完全不同的两个网站？

Google 官方文档里有一句话，大多数企业都不知道：Googlebot 默认只抓取网页前 15MB 的内容，超出部分直接忽略。15MB 听起来不小，但一个视频、一组高清大图、一段冗长的 JS 脚本，就能轻松吃掉大半。你以为 AI 读完了你整站，实际上它可能只看了一页的头部。

更反常识的是，Googlebot 用的是最新版 Chrome 渲染网页并运行 JavaScript。也就是说，它不是"只看源代码"，而是像一个真实用户那样把页面渲染出来再读。这对企业是个好消息：纯静态 HTML 不是被 AI 收录的必需条件。但对另一部分企业是坏消息：如果你的关键内容靠 JS 动态加载、加载又慢，爬虫等不到渲染完成就走了。

AI 访问你网站，到底走哪三步？

先把机制讲清楚。AI 获取你网站的信息，分三步：爬虫抓取 → 索引整理 → 语义理解。第一步，爬虫主动来你的网站抓内容；第二步，把抓到的内容分类存入索引库；第三步，用户提问时做语义匹配。这三步任何一步断了，你的内容就不可能被 AI 引用——这是 GEO 的第一条铁律：先被看见，才可能被引用。

Google 自己把这三步叫"抓取→索引→呈现"。注意一个细节：不是所有被抓取的网页都会被索引。Google 官方明确说，内容质量低的网页会被直接跳过。所以"我网站上线了"和"AI 收录了我"是两回事，中间隔着质量和结构化两道门槛。

爬虫看到的，和用户看到的不一样

用户看你的网站，靠眼睛和审美；爬虫看你的网站，靠渲染、读取和提取。这里有几个真实差异：

第一，15MB 上限。 前面说了，Googlebot 默认只抓前 15MB。重要信息必须放在页面靠前的位置，尤其是正文文本。图片、视频、装饰性脚本都是"体积刺客"。

第二，图片不是文字。 AI 爬虫读图片主要靠 alt 标签。很多制造业官网把核心参数做成图片，alt 就写"产品图"三个字——等于什么都没说。参数表必须用文字表格呈现，AI 才读得到。

第三，多爬虫各管各的。 OpenAI 有两个独立爬虫：OAI-SearchBot 负责 ChatGPT 搜索引用，GPTBot 负责训练模型，站长可以在 robots.txt 里分别控制——你可以允许 OAI-SearchBot 让内容进 ChatGPT 答案，同时禁止 GPTBot 不让内容用于训练。Bing 的 Bingbot 也基于 Chromium，同样能渲染 JavaScript。

robots.txt 的三个误解

很多企业把 robots.txt 当成"网站门禁"，这是最大的误解。

误解一：robots.txt 能阻止被索引。 Google 官方原话：robots.txt 不是阻止索引的机制，只是管理抓取流量。被它屏蔽的 URL 仍可能出现在搜索结果里，只是没有描述摘要。想真正隐藏页面，要用 noindex 或密码保护。

误解二：robots.txt 是强制的。 它是君子协定。Googlebot 会遵守，但恶意爬虫未必。敏感内容（客户数据、内部文档）必须用密码保护，不能指望 robots.txt。

误解三：屏蔽爬虫没代价。 代价非常大。Google 官方明确：生成式 AI 模型需要利用公开可抓取的内容来学习模式——被 robots.txt 屏蔽，对 AI 来说就等于你不存在。你挡掉了爬虫，也挡掉了被 AI 推荐的所有可能。

给你的网站开一扇门：llms.txt 与结构化

Google 官方的说法是：验证爬虫身份有三种方式——user-agent 头、源 IP 反查、反向 DNS。但对企业来说，更重要的不是验证对方，而是明确告诉对方"欢迎来抓"。

llms.txt 就是干这个的。 在官网根目录放一个 llms.txt 文件，相当于给 AI 爬虫一张企业名片：写明你是做什么的、产品是什么、哪些内容值得抓取。很多企业官网设了反爬机制，把 AI 爬虫也挡在外面，llms.txt 就是补上这扇门的钥匙。

再配合结构化信息：参数用文字表格、资质证书把文字内容写清楚（专利号、授权日期、检测结论逐项列出）、页面底部联系电话保持准确。这些动作的目标一致：让爬虫一次就能读懂你，而不是猜你。

回到开头那个问题

你的官网每天在被 AI 访问吗？取决于三件事：你的页面能不能在 15MB 内把核心信息说清、你的 robots.txt 是开门还是关门、你的关键信息是文字还是图片。

用户看到的网站负责打动人心，爬虫看到的网站负责让 AI 认识你。两者可以不一样，但你不该只修前者、不管后者。

（正文完）