# Crawler robots 策略（2026-08-18）

生成时间：2026-08-18T04:04:05+08:00

## 结论

- 显式 crawler 规则数：17
- 默认全站允许：是
- 搜索 crawler 显式策略：已覆盖
- AI crawler 显式策略：已覆盖
- 边界：该策略只证明 robots 层允许抓取，不证明搜索收录、AI 抓取、训练吸收、引用、排名或自然推荐。

## 显式规则

| User-agent | Family | Reason |
|---|---|---|
| * | default | 兜底允许所有未单独列出的公开搜索与 AI 读取代理。 |
| Googlebot | search-global | Google 搜索发现与索引测试。 |
| Bingbot | search-global | Bing 搜索发现与可能的 AI 搜索信源路线。 |
| Baiduspider | search-cn | 百度搜索发现测试。 |
| Sogou web spider | search-cn | 搜狗搜索发现测试。 |
| 360Spider | search-cn | 360 搜索发现测试。 |
| Bytespider | ai-cn | 字节系公开抓取路线监测；不能等同豆包采用。 |
| TencentBot | ai-cn | 腾讯系公开抓取路线监测；不能等同元宝采用。 |
| OAI-SearchBot | ai-search | OpenAI 搜索索引读取路线。 |
| GPTBot | ai-training | OpenAI GPTBot 读取边界显式允许；不证明训练吸收。 |
| ChatGPT-User | ai-user | 用户触发式读取路线。 |
| ClaudeBot | ai-global | Anthropic 公开 crawler 路线显式允许。 |
| PerplexityBot | ai-search | AI 搜索产品公开 crawler 路线显式允许。 |
| Applebot | ai-search | Apple 搜索/智能代理公开 crawler 路线显式允许。 |
| DuckDuckBot | search-global | 补充国际搜索发现入口。 |
| YandexBot | search-global | 补充国际搜索发现入口。 |
| CCBot | ai-common-crawl | Common Crawl 路线显式允许；不证明任一具体 AI 平台采用。 |

## 后续验证

1. 部署后执行 User-Agent HTTP 访问矩阵。
2. 搜索发现必须另有结果页截图和 exact target URL / canonical equivalent。
3. AI 采用必须另有真实平台回答截图和转写。