昨天给这个博客补了 robots.txt、sitemap、llms.txt,还有一些结构化数据。
补完之后我想验证效果。最直接的验证方式不是问 AI「你引用过我的站吗」,而是看日志——爬虫来了多少次,抓了哪些页。
于是我打开了半年的 access log。
1,055,039 行,2026 年 5 月 25 日到 11 月 12 日。
统计结果第一眼很漂亮:各种 AI 爬虫的请求加起来 24,105 次,而 Googlebot 只有 12,256 次。AI 爬虫的访问量已经是 Google 的两倍。
一个八篇文章的小博客,AI 比 Google 还重视我。
这个结论如果发到社交媒体上,配个图,能收获不少转发。可惜它是假的。
🕵️ 第一层:一个 IP 不可能同时是五家公司的爬虫
我发现有个 IP,34.125.73.11,前后出现过 7 种身份:GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Amazonbot、Google-Extended。
一个 IP 不可能同时是 OpenAI、Anthropic、Perplexity、Amazon 和 Google 的爬虫。这几家公司不共享服务器。
于是我把所有可能是 AI 爬虫的请求都过了一遍,建立「IP → 声称的身份」的映射,然后找声称了两种以上身份的 IP。
参与请求的 IP 总数: 892
声称 ≥2 种身份: 56 (6.3%)
这 56 个 IP 贡献的请求: 15,754 (65.4%)
56 个 IP,占 6.3%,贡献了 65.4% 的「AI 爬虫」流量。
最极端的一个 IP 声称了 12 种身份——从 GPTBot、ClaudeBot、PerplexityBot,到 CCBot、YouBot、cohere-ai,再到字节的 Bytespider 和 Meta 的 meta-externalagent,一家都没落下。
单 IP 请求量最大的是 34.84.112.226,声称 10 种身份,发了 1,223 次请求。
这些 IP 大多在 34.x 和 35.x 段,也就是 Google Cloud。有人租了 GCP 的机器,写了个脚本,随机挑一个 AI 爬虫的 UA 发请求。
为什么要这么干?因为在 2026 年,「AI 爬虫来过」是个可以卖钱的数据。有些工具就是靠这个算「AI 可见性得分」。
🔍 第二层:用官方 IP 段做校验
UA 可以伪造,IP 段不行——除非你想劫持整个网段。
OpenAI 公布了爬虫的 IP 段,openai.com/gptbot.json,18 条 CIDR,创建时间是 2026 年 9 月 22 日。我把它下载下来,跟日志里的 IP 逐个比对。
UA 总请求 落在官方段内 占比 官方段内成功200
GPTBot 2,454 647 26.4% 439
OAI-SearchBot 2,362 613 26.0% 23
ChatGPT-User 7,593 14 0.2% 0
三个 UA 加起来 12,409 次请求,落在 OpenAI 官方 IP 段内的只有 1,274 次,10.3%。
GPTBot 那 647 次全部来自 74.7.227.x、74.7.241.x、74.7.242.x、74.7.243.x——Azure 的地址,跟官方公布的段完全吻合,34 个独立 IP。这部分是真的。
非官方的那 1,807 次,主要来自 34.125.x、34.84.x、104.199.x、34.7.x、35.194.x——Google Cloud 的段。
🧬 插一句:为什么不能用 UA 字符串判断
我中间试过一个更省事的办法:看 UA 的括号结构。
真实的 GPTBot 长这样,注意分号在括号里面:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)
而很多伪造的是这样,括号提前闭合了:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot)
跑完的结果:
- 官方段内 647 次,100% 是括号内含格式
- 官方段外 1,807 次里,只有 415 次(23.0%) 是括号提前闭合
也就是说,这个办法能抓出 23% 抄错格式的,但剩下 45.7% 抄得一字不差。UA 可以伪造到字符级别,只有 IP 骗不了。
所以判据只能是 IP 段,UA 顶多做辅助。
🚨 第三层:看它们要什么
IP 对了,还不一定是真爬虫。得看行为。
ChatGPT-User 这个 UA 最值得看。它的定位是「用户点击了 ChatGPT 里的引用链接,浏览器去打开那个页面」。正常行为应该是:请求一个真实存在的页面,拿到 200。
实际是:
404 4,796
503 2,063
301 435
403 276
200 14
7,593 次请求里,只有 14 次返回 200。99.8% 都在请求不存在的东西。
而这 14 次成功里,有 2 次在探测 WordPress 的配置文件——那个文件拿到就能读数据库密码。还有 1 次是这种:
GET /index.php?-d+allow_url_include%3don+-d+auto_prepend_file%3d...
这是 PHP 的远程文件包含攻击探测。
真实用户点引用链接,不会去翻站点的配置文件。
它的时间分布也不对:8 月 27 日一天 3,279 次,8 月 26 日 817 次。真实用户点击是分散的,扫描器是集中的。
🌱 但有真东西
这里要修正我自己的第一判断。我一开始想说「全是假的」,但数据不支持。
GPTBot 的 647 次是真实的,而且它真的抓了文章:
57 次 /
52 次 /index.php/wp-json/oembed/1.0/embed?url=...
52 次 /index.php/wp-json/oembed/1.0/embed?format=xml&url=...
16 次 /index.php/2025/08/01/skyflight-云图航拍...
16 次 /index.php/2025/07/16/数据恢复日期/
有个细节值得说:抓得最多的不是文章,是 oEmbed 端点,两种参数形式各 52 次,合计 104 次,比首页还多。
这是 WordPress 的 oEmbed 发现机制——每个页面 head 里都有一串 wp-json/oembed/1.0/embed 的声明,爬虫看到就要去拉一次。对爬虫预算来说,这是纯开销。
时间上从 6 月到 10 月一直有,6 月 20 日 17 次、7 月 7 日 52 次、9 月 21 日 27 次、10 月 20 日 29 次。不是爆发式,是低频持续。
ClaudeBot 也有真实抓取。190 次成功请求集中在几个固定地址上——216.73.216.x 和 216.73.217.x,三个 IP 就贡献了 186 次。抓的是 /about/、/links/、/privacy-policy-2/,它先摸站点结构再抓内容,符合爬虫的常规路数。
(这里补一句:Anthropic 没有像 OpenAI 那样公开发布 IP 段文件,所以 ClaudeBot 这一条我是按地址集中度判断的,不是按官方清单。)
所以准确的结论不是「全是假的」,而是:
半年里,真实的 AI 抓取大概在一千次量级;而日志表面写着两万四千次。
差了近二十倍。任何基于 UA 计数的「AI 可见性」指标,在这个量级上都没有意义。
🪤 一个意外发现:robots.txt 的 404 会被反复重试
OAI-SearchBot 的 613 次可归因请求里,有 582 次是在请求 robots.txt。
这个比例太反常了,正常爬虫会缓存 robots.txt,不会一天问几十遍。我查了状态码——大部分是 404。因为我的 robots.txt 是今天凌晨 1:09 才建出来的,在那之前一直是 404。
也就是说:过去半年,OAI-SearchBot 一直在问「你们家 robots.txt 在哪」,每次都被告知不存在,然后过一阵子再来问。
没有 robots.txt 不是「中立」,是让每一个守规矩的爬虫反复来撞门。这件事我在做 GEO 之前完全没意识到。
📉 然后我去翻了论文,发现上面是同一件事
GEO 这个领域是 2023 年 11 月才有的,标志是 Princeton 和 IIT Delhi 那篇 GEO: Generative Engine Optimization,KDD 2024。
我读原文的时候发现一件有意思的事:网上关于这篇论文的转述,和论文本身对不上。
二手文章里最常见的说法是「3 个生成引擎、25 个领域、9 种方法、提升 30-40%」。实际翻了正文:
- 评测的引擎是 2 个:自建引擎(Google 前 5 条 + gpt-3.5-turbo)和 Perplexity.ai,后者只用了 200 条测试子集
- 领域确实是 25 个,但「9」指的是 查询类型(informational、transactional 这些),不是领域
- 10,000 条 query,切成 8K 训练 / 1K 验证 / 1K 测试
数字传着传着就串了行。这不奇怪,奇怪的是没人回去对。
自建引擎上的结果,原文 Table 1 是这样的(指标是 Position-Adjusted Word Count,基线 19.5)。最后一列的百分比是我按表内数值折算的,论文正文只给了「最佳方法约 41%」这一个总数:
| 方法 | PWC | 相对基线(折算) |
|---|---|---|
| 不优化(基线) | 19.5 | — |
| Quotation Addition | 27.8 | +42.6% |
| Statistics Addition | 25.9 | +32.8% |
| Cite Sources | 24.9 | +27.7% |
| Fluency Optimization | 25.1 | +28.7% |
| Technical Terms | 23.1 | +18.5% |
| Authoritative | 21.8 | +11.8% |
| Easy-to-Understand | 22.2 | +13.8% |
| Unique Words | 20.7 | +6.2% |
| Keyword Stuffing | 17.8 | −8.7% |
「加引语、加统计数字、加引用来源」这三个有效,「堆关键词」是负的。这条结论在我读到的后续研究里没有反例。
但论文里还有一张表,我在二手文章里几乎没见过。
⚖️ 那张被忽略的表:排第一的站,做了 GEO 可能更差
Table 2 的设定不是「优化我的站」,而是「所有源都被优化了」——这才接近真实世界,因为别人也在做。
然后按原始 Google 排名分层看可见性变化:
| 方法 | Rank-1 | Rank-2 | Rank-3 | Rank-4 | Rank-5 |
|---|---|---|---|---|---|
| Cite Sources | −30.3% | +2.5% | +20.4% | +15.5% | +115.1% |
| Quotation Addition | −22.9% | −7.0% | +3.5% | +25.1% | +99.7% |
| Statistics Addition | −20.6% | −3.9% | +8.1% | +10.0% | +97.9% |
原本排第一的站,用「加引用来源」这套方法,可见性下降 30.3%。原本排第五的站,同样的方法,提升 115.1%。
论文把这个叫「民主化数字空间」——因为生成式引擎基于内容本身生成,不靠外链和域名权重,小站有机会。说法是正面的。
但对做 GEO 的人来说,这张表的意思更直接:GEO 不是普遍提效,是重新分配。 你多出来的,是别人少的。而且如果你是那个排第一的,你就是被分走的一方。
我搜了一圈二手转述,几乎所有人都在引用 Table 1 的 40%,很少有人提 Table 2 的 −30.3%。
🧊 2026 年的综述,给这个领域泼了冷水
今年 7 月有一篇批判性综述,Optimizing Visibility in Generative Engines,覆盖 2023 年 11 月到 2026 年 7 月的 45 篇研究。
它的核心判断是:GEO 不是一个排序任务,而是一条随机的、部分可观测的流水线——搜索激活、爬取索引、检索、重排与上下文分配、引用、显著性、事实吸收、保真度、用户行为,每一环都可能丢东西。
然后是最要命的一句:那篇奠基论文被广泛引用的增益,只在「源已经被放进固定上下文」的实验设定内成立,它既不证明内容能被自然检索到,也不证明能带来持久流量。
综述的结论是:在它覆盖的 45 篇里,没有任何一项技术被证明对「自然可发现性」或下游行为有稳定的、纵向的、跨平台的因果效应。
另一篇 2026 年的评测(SAGEO Arena)把检索环节也纳进来,结论更反直觉:只改正文的优化,在检索阶段会掉分;而改标题、meta、结构化数据这类「结构性」改动,检索命中率是提升的。结构决定能不能被找到,正文决定被不被引用。
这一条我只读到二手转述,没有去对原文表格,所以只当方向参考。
这跟我上面做的事对上了:我为了「AI 可见性」改的是正文风格,但真正影响「能不能被找到」的是 robots、sitemap、结构化数据这些脚手架。
🧾 那我昨天做的优化,现在怎么评价
按证据强度排,不按热度排:
第一档,工程确定性收益,跟 GEO 无关也该做
- robots.txt:从 404 变成 200。日志已经证明爬虫会反复来问,现在能给出答案了
- sitemap.xml:WordPress 自带的
wp-sitemap.xml因为伪静态规则是空文件一直 404,换成静态生成,当时是 18 个 URL - 结构化数据(JSON-LD 的 BlogPosting / WebSite / Breadcrumb):结构影响检索这一点,跟上面那篇评测的方向一致
第二档,有理论支持但强度弱
- 正文里加具体数字、加出处:Table 1 支持,但那是在「源已被检索到」的前提下测的。前提不成立,后面全不成立
第三档,我找不到证据
- llms.txt。这东西 2024 年 9 月由 Jeremy Howard 提出。到今天我检索不到一篇同行评议的研究,也找不到任何一家引擎的官方文档承认会读它。我做了,是因为成本几乎为零,不是因为我相信它有效
我把 llms.txt 放在第三档,不是自我否定,是想说清楚:做了不等于有效,测不出来就该说测不出来。
🔧 一个能自己跑的最小验证协议
如果你想自己查一遍,不需要买工具。三步:
一、UA 计数不可信,先做身份互斥检验
把日志里所有 AI 爬虫 UA 的请求提出来,建 IP → 身份集合的映射。任何一个 IP 声称两种以上身份,整段剔除。这一步在我站上砍掉了 65.4%。
二、用厂商公布的 IP 段做二次校验
- OpenAI:
openai.com/gptbot.json、openai.com/searchbot.json - Google:
developers.google.com/search/docs/crawling-indexing/verifying-googlebot - Bing:
bing.com/webmasters/verify
不在段内的,一律不算。
三、看状态码,不看请求数
真实爬虫抓的是存在的页面,200 占比应该高。扫描器全是 404。
我这三步的完整脚本,最长的一份 113 行,纯标准库,没有依赖。
🎯 所以现在怎么办
短期我不会再去追「AI 可见性得分」这种指标。它的分母不可信,我测了也不知道自己在测什么。
能做的只有三件确定的事:
- 让爬虫能进来——robots、sitemap、伪静态,这是管道
- 让内容值得被引——具体数字、可验证的过程、明确的结论,而不是形容词
- 持续写——半年八篇和半年三十篇,被检索到的概率不是线性关系
至于「AI 到底引用了我没有」,这个问题目前没有可靠的自测手段。行业里那些给出具体分数的工具,值得先问一句:你的分母是怎么来的。
我这次的分母,一开始是 24,105,查完是 1,274。差了 19 倍。