服务器日志里的真相：20+ 种爬虫都在抓你
摘要
我们解析 combined 格式的 nginx 访问日志，识别 Googlebot 桌面/移动、GPTBot、ChatGPT-User、ClaudeBot、Perplexity、Gemini、Meta 等 20+ 爬虫签名，并按路径与域名聚合，看清 AI 爬虫到底读取了哪些内容页。
快速答案
解析 nginx 访问日志（combined/common 格式），用一张覆盖 Googlebot、GPTBot、ClaudeBot、Perplexity、Gemini 等的 User-Agent 签名表逐条匹配。注意 UA 内含空格，拆分日志行要小心；随后按路径与域名聚合，把 Google 与 AI 爬虫分成独立面板，并定期重跑看趋势。
Search Console 告诉你 Google 看到了什么，GA4 告诉你访客做了什么。但两者都不会告诉你：到底是谁在真实地访问你的服务器——哪些爬虫、哪些 User-Agent、命中哪些路径。当我们想确认 AI 爬虫是否在读我们的内容页时，答案就躺在一个大多数人从不会打开的文件夹里：nginx 访问日志。
GA4 和 Search Console 看不到的东西
GA4 以浏览器为中心，会过滤掉绝大多数爬虫流量；Search Console 只报告 Google 自己的抓取数据。所以它们都回答不了我们很关心的一个问题：GPTBot 在不在读我们的文章？ClaudeBot 有没有光顾博客？Perplexity 和 Gemini 实际抓取哪些路径？唯一有这份细节的，只有原始服务器日志。
解析日志：UA 签名与多空格陷阱
我们解析 combined 格式的 nginx 访问日志，按 User-Agent 签名识别爬虫。签名表比你想的更大：Googlebot（桌面与移动）、GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Gemini，以及 Meta/Facebook 爬虫——总共 20+ 个签名。
有一个解析细节很关键：User-Agent 字符串里含空格，用朴素的方式按空格切分就会出错。combined 格式的日志行必须小心拆分，保证 UA 完整，否则所有 AI 爬虫都会悄悄从报告里消失。
按路径与域名聚合
识别出签名后，我们按 URL 路径和域名聚合请求，得到每个爬虫的 Top 路径——比如 GPTBot 抓得最多的内容页。我们还会把结果分成两个独立面板：Google 爬虫一个、AI 爬虫一个，两者绝不混在一起。由于我们运营多个域名，按域名过滤也很重要——一次只查看一个站点。
你能得到什么
AI 爬虫行为一下子变得可见：GPTBot 读了哪些文章、ClaudeBot 访问了哪些产品页、Perplexity 命中了哪些路径。这正是内容与 GEO 策略的直接证据——在 AI 决定是否引用你之前，你可以先看到它们实际在读什么。
可复用清单
- 拿到 nginx 访问日志。combined 与 common 格式都可以。
- 建 UA 签名表。覆盖 Google 爬虫、AI 爬虫（GPTBot、ClaudeBot、Perplexity、Gemini）与社交爬虫。
- 按路径与域名聚合。处理好 UA 内嵌空格的问题，并支持按域名筛选。
- 定期重跑。趋势比单次快照更有价值。
这套日志智能工作流，正是我们 iport 平台营销分析模块里服务器日志分析为你自动完成的事——默认就把 AI 爬虫与 Google 爬虫分开呈现。
常见问题
为什么 GA4 告诉不了我哪些爬虫访问我的网站？
GA4 围绕浏览器会话设计，会过滤掉绝大多数爬虫流量；Search Console 只报告 Google 自己的抓取。原始服务器日志是唯一保留所有爬虫痕迹的地方——包括 AI 爬虫。
我应该关注哪些 User-Agent 签名？
除了 Googlebot（桌面/移动）和社交爬虫，还要加上 AI 爬虫：OpenAI 的 GPTBot 与 ChatGPT-User、Anthropic 的 ClaudeBot、PerplexityBot，以及 Gemini。一张可用的签名表通常在 20+ 条。
为什么 User-Agent 里的空格会破坏日志解析？
combined 格式的日志行以空格分隔字段，但 UA 本身充满空格。按每个空格切分会把 UA 切成碎片，签名匹配静默失败——AI 爬虫流量就这样从报告里消失了。