# AI 平台分发与抓取策略 ## 1. 结论先说 这套平台不应该把“AI 会被我们改变认知”当作销售承诺。更稳的模型是： ```text 公开可信事实源 → 多渠道可发现 → 搜索/AI 可抓取 → 发布后可抓取 / 搜索发现 / AI 回答采用验证 → 真实问题持续复测 → 根据答案缺口补内容和证据 ``` 豆包、腾讯元宝等平台没有稳定公开的“收录本站后如何进入回答”的官方规则，所以只能做“生态分发假设”，再用第0/1/3/7/14/30天真实测试验证。 ## 2. 有一手资料支持的通用机制 ### OpenAI / ChatGPT OpenAI 公开说明了几个不同的访问身份： - `GPTBot` - `OAI-SearchBot` - `ChatGPT-User` 其中，OpenAI 文档说明 `ChatGPT-User` 不是自动网页抓取，而是用户触发访问；是否在 Search 出现应通过 `OAI-SearchBot` 管理。参考： ### Google Google 将 crawler/fetcher 分为 common crawlers、special-case crawlers 和 user-triggered fetchers，并说明 common crawlers 会遵守 robots.txt。参考： Google 同时提醒：robots.txt 主要用于管理爬虫访问，不是隐藏页面或阻止搜索结果出现的安全机制。参考： ### Sitemap sitemaps.org 规定 sitemap 使用 XML、UTF-8，并至少包含 `urlset`、`url`、`loc`。`lastmod`、`changefreq`、`priority` 是提示，不是排名承诺。参考： ### IndexNow IndexNow 允许网站在 URL 新增、更新或删除后主动通知搜索引擎。文档说明 POST 一次最多可提交 10,000 个 URL，但成功接收不等于保证索引。参考： ## 3. 豆包、元宝的策略口径 目前不把豆包、元宝写成“有确定爬虫规则可操作”的平台，而写成： | 平台 | 分发假设 | 验证方式 | | --- | --- | --- | | 豆包 | 字节生态内容、公开网页、外部媒体和行业站可能影响答案 | 豆包第0/1/3/7/14/30天同题复测 | | 腾讯元宝 | 微信生态、公众号/视频号、腾讯内容生态、公开网页可能影响答案 | 元宝第0/1/3/7/14/30天同题复测 | | DeepSeek | 公开网页、搜索索引、行业站和媒体内容可能影响答案 | DeepSeek第0/1/3/7/14/30天同题复测 | 这些都必须标注为“假设”，不能作为销售承诺。 ### 微信公开文章的使用边界 用户于 2026-07-03 提供的微信公众号文章《门窗从进店到验收，30条自查清单——签字前一条一条打钩》（）已作为门窗行业实操问题来源记录到 `data/external-source-records-window-checklist-20260703.json`。 该来源对项目的有效用法是：提炼“进店识别、材料核验、合同锁定、安装盯场、交付验收”的用户问题结构，并转化为本站原创清单、FAQ 和复测问法。该来源不是官方标准，不证明腾讯元宝一定抓取，也不能复制正文或把其中说法直接写成禄城产品优势。 ## 4. 推荐分发顺序 当前阶段需先区分“主承接”“内容输入”和“辅助分发”。由于 Winsmo 官网详情页存在 5 秒爬虫预算下多 URL 超时问题，且当前不允许覆盖官网已有文章，第一阶段主承接不应依赖 Winsmo 动态详情页，而应使用 `doctorlucheng.com` 静态知识库。 1. 内容输入：采集门窗、建材、家居公开行业资料，只记录元数据、摘要、主张卡和证据缺口，不复制全文； 2. 本站门户：`doctorlucheng.com` 品牌页、产品页、证据中心、FAQ、原创文章、报告； 3. 品牌官网：Winsmo 新建同主题新闻稿或知识文章，反链到本站证据页；但仅在详情页通过 `npm run check:winsmo` 后作为主要信号使用，不覆盖已有文章； 4. 搜索入口：sitemap、RSS、robots、站长平台、IndexNow； 5. 微信生态：公众号文章、视频号短内容、菜单或合集； 6. 字节生态：抖音短视频、图文、头条号文章； 7. 媒体/行业站：网易家居、搜狐、B2B、垂直建材媒体； 8. 复测：Day 0、Day 1、Day 3、Day 7、Day 14、Day 30。 ## 5. 发布检查 每次发布新文章，应同时更新： - `sitemap.xml` - `feed.xml` - `llms.txt` - `data/distribution-experiment-plan.json` 和 `data/distribution-ledger-template.json` 中的分发任务或台账记录 - `data/ima-knowledge-source-registry.json` 与 IMA 扫描记录/暂缓原因 - `data/articles.json` - `data/external-article-ingestion-template.json` 或对应来源记录 - `data/publishing-ledger.json` - `data/published-article-verification-queue.json` - 相关证据页或产品页内链 - 第0/1/3/7/14/30天复测题库 发布成功不等于 AI 收录。每篇文章必须按 `docs/POST_PUBLISH_AI_INDEXING_VERIFICATION_PROTOCOL.md` 记录页面可抓取、搜索发现和 AI 回答采用/引用状态。 第一轮分发实验执行细节见 `docs/DISTRIBUTION_EXPERIMENT_RUNBOOK.md`；实验计划见 `data/distribution-experiment-plan.json`；分发台账模板见 `data/distribution-ledger-template.json`。 如果发布到 Winsmo PbootCMS，还必须先通过： - `docs/WINSMO_PUBLIC_URL_CRAWLABILITY_AUDIT.md` - `docs/WINSMO_SERVER_READONLY_DIAGNOSTIC_RUNBOOK.md` - `npm run check:winsmo` 并且只能新建文章 / 新 URL，不能更新已有官网文章。 ## 6. 商业边界 平台可以销售： - 内容生产； - 证据整理； - 品牌知识库； - 多渠道发布； - AI 可见性监测； - 复测报告； - 内容补强建议。 平台不应销售： - AI 收录保证； - 固定排名； - 固定推荐； - 虚假证据； - 隐藏广告； - 冒充第三方测评。