# Crawler User-Agent 访问矩阵（2026-08-18）

## 结论

- 基础 crawler 访问门禁：通过
- 检查项：126/126
- 类阻断状态（401/403/407/429/451）：0
- 结果边界：本报告只证明 HTTP 层可访问，不证明搜索收录、AI 抓取、训练吸收、引用、排名或自然推荐。

## 测试对象

Base URL：https://lucheng-geo.pages.dev

| Target | Path |
|---|---|
| robots | /robots.txt |
| sitemap | /sitemap.xml |
| feed | /feed.xml |
| llms | /llms.txt |
| article | /articles/window-buying-pitfall-acceptance-checklist-geo.html |
| window-query-hub | /questions/window-buying-pitfall-geo-hub.html |
| ai-crawl-index | /data/ai-crawl-index.json |
| public-search-gate | /data/public-search-discovery-d1-evidence-gate-20260818.json |
| objective-audit | /data/objective-evidence-audit-20260818.json |

## Crawler 汇总

| Crawler | Family | Passed | Blocked-like | All readable |
|---|---:|---:|---:|---:|
| Generic browser control | control | 9/9 | 0 | yes |
| Googlebot | search | 9/9 | 0 | yes |
| bingbot | search | 9/9 | 0 | yes |
| Baiduspider | search-cn | 9/9 | 0 | yes |
| Sogou web spider | search-cn | 9/9 | 0 | yes |
| 360Spider | search-cn | 9/9 | 0 | yes |
| Bytespider | ai-cn | 9/9 | 0 | yes |
| Tencent crawler representative | ai-cn | 9/9 | 0 | yes |
| OAI-SearchBot | ai-global | 9/9 | 0 | yes |
| GPTBot | ai-global | 9/9 | 0 | yes |
| ChatGPT-User | ai-global | 9/9 | 0 | yes |
| ClaudeBot | ai-global | 9/9 | 0 | yes |
| PerplexityBot | ai-search | 9/9 | 0 | yes |
| Applebot | ai-search | 9/9 | 0 | yes |

## 下一步

1. 如果本门禁通过，继续做公开搜索发现 D1 剩余行。
2. 对被验证码拦截的搜索引擎，改用正常浏览器人工取证，不把验证码页计为未收录。
3. 只有出现 exact target URL / canonical equivalent，才进入搜索发现 S2/S3。
4. AI 平台采用必须另有平台回答截图和转写，不能由本 HTTP 门禁推断。