eigentime

对照阅读 · 2026-10-09

Opus 4.6 与 5.5 写的 GEO 长文

同一份任务书，分别交给 Claude Opus 4.6 和 Claude Opus 5.5，各写一篇讲 GEO 的中文长文。下面两栏是两次调用的原始输出，正文一字未改。宽屏上两栏可以各自滚动。

两篇都有已知的事实问题，例如把转述加上引号当作原话，这里没有替它们修。Opus 5.5 那篇按核对清单修订后另行发布为定稿。逐条核对、实验过程和局限见实验记录。 修订定稿 → 实验记录 → 原始资料下载 →

任务书原文

两个模型收到的用户消息就是下面这段文字，后面紧接参考报告全文（见原始资料包）。系统提示是：

你是一位中文技术写作者，正在为一个个人博客撰写一篇长文。你没有任何工具，不能联网；只能使用用户消息里提供的材料。你的最终回复就是完整的 Markdown 文件内容，不要在文件前后附加任何解释、寒暄或代码围栏。

# 写作任务

为个人博客 eigentime.org 写一篇中文长文。博客作者做英文网站内容和 Google SEO，站点口吻是冷静的工程笔记。

这篇文章要回答一个问题：

> 既然大模型训练时会过滤、去重、丢弃大量互联网内容，那么做 GEO（Generative Engine Optimization，面向生成式答案引擎的内容优化）到底该优化什么？

文章应覆盖三块：① 原理——「进入训练语料」和「在 AI 搜索里被检索、被引用」是两条不同的路径；② 模型厂商公开披露的训练与数据清洗方法，以及它们对内容方意味着什么；③ 可落地的做法与测量方式。结构、标题、小节划分、论证顺序、举例方式都由你决定，这正是本次要考察的部分。

正文长度建议 4,500–7,000 个汉字，以讲清楚为准，不注水。

下面依次是：站点写作规范、内容红线、与已发布文章的关系、事实包（唯一可用的外部事实来源）、格式要求、参考调研报告全文。

---

# 一、站点写作规范（原文摘录，必须遵守）

## 写作调性（可测的那半由 `check:prose` 审计）

本站的口吻是**冷静的工程笔记**：陈述句为主，不抬高也不自贬，把判断交出去，让读者自己掂量。业主 2026-08-10 拍板，起因是《SEO 月报砍指标》一稿「口吻一般」——诊断出来不是笼统的不好，是四个可数的毛病。

**1. 不写改稿日记。** 读者不关心这篇改了几版。删掉所有「这一节是全文改得最狠的一节」「被反驳打掉了，而且打得很干净」「我从这件事里学到的」「三个我没能完全答上来的反驳」这类元叙述。对抗式自审是**方法**，产出的是更好的正文，不是正文里的一段自述。被打中的地方直接改原文——这条见 `docs/roadmap.md` 里既有的做法，没变。

**2. 加粗只用于定义句。** 上限 **5 处/千字**，`check:prose` 会数。加粗是给「这是本文要你记住的那个等式」用的，比如「虚荣指标不是没用的数字，是没有对应决策的数字」。用来强调语气、标出重点句、给列表项开头做视觉锚点，都是滥用——全篇都重就是全篇都不重。结构性标签（表格里的行首、示例块的分区名）不算强调，但也进同一个预算。

**3. 金句每节最多一句。** 每个小节都收一句加粗格言会读成 LinkedIn 体。有话直说，没话就让段落平着结束。

**4. 边界声明写一次。** 诚实是必须的，但同一条限制在开篇、正文和文末各说一遍，读起来是防守不是坦诚。定位放开篇（一句话说清这是什么、验证到什么程度），细则放文末「边界」小节，中间不再重复道歉。

**第一人称**：能用则用，但注意密度。全站 24 篇 zh 文章的中位数在每千字 3 个「我」左右；显著高于这个数通常意味着文章在讲作者而不是讲事情。

**执行顺序**：`check:prose` 只能量加粗密度和小节数量，1、3、4 三条它测不出来——**它是地板不是天花板**。写完之后自己读一遍问：删掉哪些句子读者不会损失任何东西？那些就是要删的。

关于「不得代业主编写个人经历」这条硬约束，见 `AGENTS.md` 的 Content Red Lines。它比上面四条重要一个量级：口吻差是可以改的，伪造经历是不可挽回的。


---

# 二、内容红线（违反任何一条即视为失败）

文章以博客作者本人的名义发布。

1. 不得写任何关于作者做过什么、经历过什么、决定过什么、负责过什么的陈述：不写客户、项目、团队、实验、数字、「我们试过 X 发现 Y」。你没有这些信息，也不允许编造。需要经验支撑的地方，改用标注清楚的示例、读者可执行的步骤，或直接说明这是推断。
2. 虚构的数据、示例表格、示例对话，必须在同一段落或同一表格内标注「虚构示例」，不能只放在脚注或文末。
3. 未经验证的方法，要在正文出现处就说明未经验证，不能只在文末边界里交代。
4. 不升级确定性：来源说「可能」就写可能；来源是相关性就不写成因果；某厂商的做法不推广成「所有模型都这样」。
5. 外部事实只能来自下方「事实包」。参考调研报告里未被事实包覆盖的说法，只能作为你的分析或推断来写，并在句子里体现出这一点，不能配外链冒充有出处。不要提及「一份调研报告」或「某份 AI 报告」本身。
6. 不要写「关于作者」小节，不要编写作者简介。

---

# 三、与已发布文章的关系

站内已有一篇已发布、被列为精选的文章：《GEO 不是给 ChatGPT 做 SEO, 而是让内容被答案引擎正确引用》，站内链接 `/zh/blog/geo-answer-engine-visibility/`。它已经讲过：

- GEO 与 SEO 的目标差异表；RAG 两步（检索、生成）与 query fan-out 的基本解释；「能看见 / 读得懂 / 信得过」三层漏斗。
- 第三方研究数据：Ahrefs（2026-03）AI Overview 引用中只有约 38% 来自同一查询的 Top 10；Ahrefs（2026-05）1,885 页新增 JSON-LD 的对照研究未见清晰引用增益；Semrush（2026-06）61.7% 的 AI 引用是「幽灵引用」（被引用但品牌未出现在答案正文）；Profound（2026-04）查询语言会重塑引用来源。
- 一份 7 条的写作框架：问题前置、结论前置、实体明确、步骤可抽取、证据可引用、边界写清、内部链接补足。
- llms.txt 与结构化数据都不是「AI 引用按钮」。

新文章是它的「下一层」：重点讲训练与数据清洗机制、两条路径的分离、以及由此推出的优先级和测量方法。不要重复上面已经讲透的内容；需要时用一两句话带过并链接到那篇文章。上面这些第三方数据如果要用，只能以「站内那篇文章引用过的研究」的方式链接到站内文章，不要给第三方研究另配外链。

另一篇可选的站内链接：《网站没有消亡，消失的是旧的流量路径》`/zh/blog/open-web-discovery-shift/`，讲平台内搜索与 AI 答案层如何让「能被收录」不等于「能获得点击」。

关于本站自身，可以使用且只能使用以下已核实的事实：本站 robots.txt 对所有 User-agent 开放，只禁止 `/admin/`、`/cms-auth/`、`/cms-api/` 三个后台路径；站点根目录有一份 llms.txt。

---

# 四、事实包（2026-10-09 核验；外部事实只能用这里的内容）

每条后面的 URL 就是可以在正文中使用的链接。标注「核验方式」的，说明了这一条的可信程度。

F1. GEO 论文。Aggarwal 等，《GEO: Generative Engine Optimization》，arXiv:2311.09735，KDD 2024 收录。提出 GEO 这一黑盒优化框架和 GEO-bench 基准；摘要称 GEO 方法可让内容在生成式引擎回答中的可见度提升「最高 40%」，且有效策略因领域而异。实验环境是作者自建的生成式引擎（取 Google 前 5 个结果，用 gpt-3.5-turbo 生成回答），另在 Perplexity.ai 上用 200 条查询的子集做了验证。在自建引擎上，加入引语（Quotation Addition）、加入统计数据（Statistics Addition）、引用来源（Cite Sources）三种方法在「位置加权字数」指标上相对基线提升约 30–40%；关键词堆砌（Keyword Stuffing）在该指标上低于基线（17.8 对 19.5）。在 Perplexity.ai 上，加入引语在同一指标上比基线提升约 22%。这些结论来自论文自己的实验环境，不等于任何商业引擎的排序公式。URL：https://arxiv.org/abs/2311.09735

F2. Google《Optimizing for generative AI features on Google Search》指南（页面「最后更新 2026-07-10」）。要点：生成式 AI 搜索使用 RAG（Google 也称 grounding），依靠核心 Search 排名系统从 Search 索引中检索相关、较新的网页；query fan-out 是「模型生成的一组并发相关查询，用来获取更多信息」；不需要为出现在 Google Search 而创建新的机器可读文件、AI 文本文件、标记或 Markdown，创建 llms.txt 可以，但「Google Search 会忽略它们」；不需要把内容拆成小块；生成式 AI 搜索不要求结构化数据，也没有专门需要加的 schema.org 标记；鼓励提供超越常识的、有独特专业或亲身经验视角的「非大路货」（non-commodity）内容；为每一种可能的搜索变体单独造页面、且主要目的是操纵排名或 AI 回答，违反 scaled content abuse 垃圾政策，页面数量多不会让网站更高质量；寻求不真实的提及（inauthentic mentions）「并不像看起来那么有用」；Search Console 提供衡量内容在 Search 与 Discover 生成式 AI 功能中表现的报告。URL：https://developers.google.com/search/docs/fundamentals/ai-optimization-guide

F3. Google《AI features and your website》（页面「最后更新 2025-12-10」）。AI Overviews 和 AI Mode 可能使用 query fan-out，即「跨子主题和数据源发出多个相关搜索」；要作为支持链接出现，页面必须已被索引，并且有资格在 Google Search 中带摘要（snippet）展示；「没有额外的技术要求」；要限制内容在这些功能中的展示，用 `nosnippet`、`data-nosnippet`、`max-snippet` 或 `noindex`。URL：https://developers.google.com/search/docs/appearance/ai-features

F4. Google-Extended。Google 爬虫文档说明：Google-Extended 是一个独立的产品令牌（product token），网站可用它管理 Google 抓取的内容是否可用于训练未来几代 Gemini 模型，以及用于 grounding；「Google-Extended 不影响网站是否被收录进 Google Search，也不作为 Google Search 的排名信号」。（由 F3 可推出：要控制 AI Overviews / AI Mode 的展示，靠的是 snippet 与索引控制，而不是 Google-Extended——这是推断，写的时候按推断写。）URL：https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers

F5. OpenAI 爬虫文档。GPTBot 用于让生成式 AI 基础模型更有用、更安全；禁止 GPTBot 表示网站内容不应被用于训练生成式 AI 基础模型。OAI-SearchBot 用于在 ChatGPT 搜索功能中展示网站；退出的网站不会出现在 ChatGPT 搜索答案中，但仍可能以导航链接形式出现。站长可以允许 OAI-SearchBot 以出现在搜索结果中，同时禁止 GPTBot，两项设置互相独立。ChatGPT-User 用于用户在 ChatGPT 或自定义 GPT 中发起的特定操作，不用于自动爬取网络，由于是用户发起的，robots.txt 规则可能不适用。OAI-AdsBot 用于检查提交为 ChatGPT 广告的网页是否安全，其收集的数据不用于训练基础模型。robots.txt 更新后，搜索系统大约需要 24 小时调整。URL：https://developers.openai.com/api/docs/bots

F6. OpenAI《Publishers and Developers FAQ》。任何公开网站都可能出现在 ChatGPT 搜索中；ChatGPT 会在引荐 URL 里自动加入 `utm_source=chatgpt.com`，便于在分析工具中追踪来自 ChatGPT 搜索的流量。（核验方式：该页面拒绝自动抓取，内容经搜索结果摘录交叉确认。）URL：https://help.openai.com/en/articles/12627856-publishers-and-developers-faq

F7. OpenAI《How ChatGPT and our foundation models are developed》。基础模型的三类主要信息来源：互联网上公开可得的信息、与第三方合作获得的信息、用户/人类训练员/研究人员提供或生成的信息。公开网络部分只使用公开可得的内容，不用付费墙之后的内容和暗网内容；训练前会过滤仇恨言论、成人内容、主要用于聚合个人信息的网站以及垃圾内容（spam）；不会为训练模型而主动收集个人信息。（核验方式：该页面拒绝自动抓取，内容经搜索结果摘录交叉确认。）URL：https://openai.com/policies/how-chatgpt-and-our-foundation-models-are-developed/

F8. GPT-3 论文。Brown 等，《Language Models are Few-Shot Learners》，arXiv:2005.14165（2020）。为提高 Common Crawl 质量做了三步：按与高质量参考语料的相似度过滤；在文档级别、数据集内部和数据集之间做模糊去重；把已知高质量参考语料加入训练配比。Common Crawl 部分过滤前是 45TB 压缩纯文本，过滤后 570GB。作者尝试移除与评测基准测试集/开发集的重叠，但一个过滤 bug 导致部分重叠被忽略，而由于训练成本，重新训练不可行。URL：https://arxiv.org/abs/2005.14165

F9. Anthropic Transparency Hub。近期 Claude 模型（例如 2026 年 9 月发布的 Claude Opus 5.5）的训练数据披露为：来自网络的公开信息、公开与私有数据集、用户数据、以及其他模型生成的合成数据；使用的数据清洗和过滤方法「包括去重和分类」。较早的几个模型（如 2026 年 4–5 月发布的 Opus 4.7 / 4.8）的披露中未列用户数据。URL：https://www.anthropic.com/transparency

F10. Anthropic 爬虫说明。ClaudeBot 收集可能用于训练的网页内容；限制 ClaudeBot 表示网站今后的内容应被排除在训练数据集之外。Claude-User 在用户向 Claude 提问时访问网站；禁用它会阻止系统在回答用户问题时获取你的内容，可能降低在用户主导的网络搜索中的可见度。Claude-SearchBot 用于提升搜索结果质量；禁用它会阻止系统为搜索索引你的内容，可能降低在搜索结果中的可见度和准确度。这些爬虫遵守 robots.txt，不会绕过验证码。URL：https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

F11. Gemma 3 模型卡（Google）。训练数据量：27B 模型 14 万亿 token，12B 为 12 万亿，4B 为 4 万亿，1B 为 2 万亿。数据预处理：在数据准备的多个阶段做严格的 CSAM（儿童性虐待材料）过滤；用自动化技术从训练集中过滤某些个人信息和其他敏感数据；按 Google 政策基于内容质量和安全做过滤。Gemma 是开放模型，不能把它的数据构成等同于 Gemini 的完整数据构成。URL：https://ai.google.dev/gemma/docs/core/model_card_3

F12. Qwen3 技术报告。阿里 Qwen 团队，arXiv:2505.09388（2025-05）。预训练数据共 36 万亿 token，覆盖 119 种语言和方言；其多语言数据标注系统对超过 30 万亿 token 做了教育价值、领域、行业、安全等多维度标注（用于数据过滤与配比）；针对轻量模型设计了 strong-to-weak distillation（强到弱蒸馏）流程，报告称从先进教师模型蒸馏，在小模型的性能和训练效率上明显优于直接做强化学习。URL：https://arxiv.org/abs/2505.09388

F13. PanGu-α 论文（华为等，arXiv:2104.12369，2021）。从 Common Crawl、百科、新闻、电子书等公开数据收集近 80TB 原始数据，清洗过滤后构建 1.1TB 高质量中文语料。清洗包括：规则清洗（去掉中文字符过少或文本过短的文档、按关键词识别并删除含广告的文档、识别并去除导航栏）、模型过滤（fastText 分类器去垃圾内容、质量分类器去低分文档）、敏感词表去有害内容、跨数据源模糊去重。URL：https://arxiv.org/abs/2104.12369

F14. ERNIE 5.0 技术报告（百度，arXiv:2602.04705，2026-02）。预训练数据涵盖多语言网页抓取、精选语料、书籍、科学出版物等；启发式与基于模型的过滤器删除低质量和不安全内容；大规模去重用于防止记忆伪影（memorization artifacts）；去污染（decontamination）措施防止评测基准数据进入训练数据。URL：https://arxiv.org/abs/2602.04705

F15. 去重与记忆。Lee 等，《Deduplicating Training Data Makes Language Models Better》，arXiv:2107.06499（2021）。在这些数据集上训练的语言模型，其无提示输出中超过 1% 是逐字复制训练数据；C4 数据集里有一句 61 个英文单词的句子重复了超过 60,000 次；去重后训练的模型输出记忆文本的频率约降低到十分之一，并能以更少训练步数达到相同或更好的准确率。URL：https://arxiv.org/abs/2107.06499

F16. FineWeb。Penedo 等（Hugging Face），arXiv:2406.17557（2024）。FineWeb 是从 96 个 Common Crawl 快照中得到的 15 万亿 token 数据集；FineWeb-Edu 是从 FineWeb 中筛出的 1.3 万亿 token 教育类文本。URL：https://arxiv.org/abs/2406.17557

F17. Cloudflare。2025 年 7 月 1 日 Cloudflare 博客宣布把默认设置改为拦截 AI 爬虫（除非它们为内容付费），并推出按次抓取付费（pay per crawl）。该文没有区分训练爬虫和搜索爬虫。由此可推出的建议（按建议写）：用 CDN/WAF 的站点，应确认安全设置没有误拦想要放行的搜索类爬虫。URL：https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/

F18. Google 垃圾政策（页面「最后更新 2026-08-28」）。政策开篇把「试图操纵 Google 搜索中的生成式 AI 回答」列入范围；scaled content abuse 的例子包括「使用生成式 AI 工具或类似工具生成大量对用户没有增加价值的页面」。URL：https://developers.google.com/search/docs/essentials/spam-policies

F19. 经典方法论文（可作为背景引用）：Lewis 等，《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》，arXiv:2005.11401（2020），把模型的参数化记忆与外部检索的非参数化记忆结合 —— https://arxiv.org/abs/2005.11401 ；Ouyang 等，《Training language models to follow instructions with human feedback》（InstructGPT），arXiv:2203.02155（2022），SFT → 人类偏好比较 → 奖励模型 → 强化学习 —— https://arxiv.org/abs/2203.02155 ；Bai 等，《Constitutional AI: Harmlessness from AI Feedback》，arXiv:2212.08073（2022），按一组原则让模型自我批评与修订，并用 AI 反馈做强化学习 —— https://arxiv.org/abs/2212.08073

不在事实包里的内容（例如 ChatGPT 搜索如何改写查询的具体细节、华为 Pangu Embedded 的训练配方、任何「信源权重分数表」、任何具体的 AI 流量行业平均值），不得作为事实陈述。

---

# 五、格式要求

输出一个完整的 Markdown 文件，严格使用下面的 frontmatter 骨架。除 `title`、`description`、`references` 由你填写外，其他字段原样保留：

```
---
title: "（你来写）"
description: "（你来写）"
pubDate: 2026-10-09
draft: true
featured: false
contentId: __CONTENT_ID__
slug: __CONTENT_ID__
locale: zh
translationStatus: original
tags:
  - seo
kind: notes
references:
  - title: "（来源名称）"
    url: "（事实包中的 URL）"
    note: "（一句话：本文用了它的哪部分）"
---
```

- `title` 显示宽度不超过 48 单位（汉字与全角符号记 2，ASCII 记 1），约等于 24 个汉字以内。
- `description` 显示宽度 50–160 单位，写「这篇解决什么、有什么可验证的东西」，不是正文摘录。
- `references` 只列正文实际用到的事实包来源，每条都要有 `note`。
- 正文不要写一级标题（`#`），从导语开始；小节用 `##`，必要时用 `###`。
- 正文中文使用全角标点（，。：；？！「」（）），英文术语、代码、URL 保持半角。行内外链用 Markdown 链接。
- 加粗每千字不超过 5 处，且只用于定义句。
- 可以使用 Markdown 表格。
- 开篇用一两句话交代这篇是什么、证据到什么程度；限制细则放在文末一个「边界」小节，正文中间不重复道歉。

最终回复只包含这个 Markdown 文件的完整内容。

---

# 六、参考调研报告全文（背景材料，事实以事实包为准）

除系统提示和用户消息外，Claude Code CLI 还会自动往上下文里加入本机的用户级说明文件（一份通用的代理工作规范）、一条账号邮箱提醒和运行环境信息（含模型名和日期），两次调用相同。原实验记录没有写到这一点，是 2026-10-10 用同样参数的探针调用确认的。

Claude Opus 4.6

训练数据被大量过滤之后，GEO 该优化什么

大模型训练会大量过滤网页，但主要厂商已明确分离训练爬虫与搜索爬虫。本文据此和各家公开的清洗机制，推导 GEO 应优先投入的方向和测量方法。

模型 ID
claude-opus-4-6
用时
10.6 分钟
输出 token（含思考）
31,434
费用（CLI 报告）
$1.09
正文汉字
3,484
结构：6 节 / 8 小节
  1. 两条不同的路径
  2. 训练数据清洗有多重
  3. 对内容方意味着什么
  4. 从检索路径推导优先级
  5. 测量
  6. 边界

这篇文章回答一个 GEO（Generative Engine Optimization，面向生成式引擎的内容优化）实践中常见的疑问：既然大模型训练时会过滤掉大量互联网内容，GEO 到底该优化什么？分析基于各厂商公开的训练流程披露和爬虫文档，推断已在文中标明。GEO 与 SEO 的目标差异、RAG 检索生成流程和内容写作框架，站内前文已覆盖，这里从训练机制这一层开始。

两条不同的路径

回答这个问题之前，先要拆开一个被混为一谈的假设：「做 GEO 就是让内容进入大模型的训练数据」。

一条是训练路径。网页内容在某次预训练中被爬取，通过数据清洗筛选，作为语料参与模型参数的更新。这条路径的终点是参数记忆——模型「学过」某种统计模式，但不等于能准确复述页面内容或 URL。

另一条是检索路径。用户向 AI 搜索提问时，系统实时从搜索索引中检索网页，把结果交给模型作为生成回答的依据。这条路径的终点是页面出现在 AI 回答的引用列表中。

这两条路径在技术上已经被主要厂商明确分开。

OpenAI 的爬虫文档把 GPTBot 和 OAI-SearchBot 列为两个独立的爬虫：GPTBot 用于「让生成式 AI 基础模型更有用、更安全」，OAI-SearchBot 用于「在 ChatGPT 搜索功能中展示网站」。网站可以允许后者、禁止前者，两项设置互相独立。Anthropic 的做法类似：ClaudeBot 收集可能用于训练的内容，Claude-SearchBot 用于搜索索引，Claude-User 在用户提问时访问网页，三者可在 robots.txt 中分别控制。

Google 的情况略有不同。Google-Extended 是一个独立的产品令牌，控制内容能否用于训练 Gemini 和 grounding，但不影响网站在 Google Search 中的收录和排名。而 Google 关于 AI 功能的文档指出，要限制内容在 AI Overviews 和 AI Mode 中的展示，应使用 nosnippet、data-nosnippet、max-snippet 或 noindex 等已有的索引和摘要机制。

下面这张表总结了各家的控制方式：

厂商控制训练数据使用控制 AI 搜索展示两者可独立设置
OpenAI禁止 GPTBot禁止 OAI-SearchBot是
Anthropic禁止 ClaudeBot禁止 Claude-SearchBot是
GoogleGoogle-Extended 令牌nosnippet / noindex是（不同机制）

这个分离的实际含义是：一个网站完全可以从未进入某个模型的训练集，但仍然在该模型驱动的搜索中被检索和引用。 OpenAI 甚至明确表示，任何公开网站都可能出现在 ChatGPT 搜索中。

训练数据清洗有多重

理解了路径分离之后，再来看训练路径上实际发生了什么。

几乎所有公开过预训练数据处理流程的厂商都描述了大规模的过滤和去重。两个有具体数字的例子：

GPT-3 的训练数据处理中，Common Crawl 部分过滤前是 45TB 压缩纯文本，过滤后 570GB——约 98.7% 的内容被丢弃。处理方式包括按与高质量参考语料的相似度过滤、文档级和数据集级的模糊去重，以及混入已知高质量语料调整配比。

PanGu-α（华为等，2021）从 Common Crawl、百科、新闻、电子书等来源收集近 80TB 原始数据，最终构建出约 1.1TB 的高质量中文语料。清洗包括规则清洗（去除中文字符过少或过短的文档、按关键词删除含广告的文档、去导航栏）、模型过滤（fastText 分类器去垃圾内容、质量分类器去低分文档）、敏感词表过滤，以及跨数据源的模糊去重。

这类过滤不是个别做法。综合各厂商公开资料，常见的清洗类别至少包括以下几类。

低质量内容。乱码、网页模板、自动生成垃圾页、信息密度过低的页面。OpenAI 明确提到会过滤 spam。

重复内容。一项针对训练数据重复问题的研究发现，C4 数据集中一个 61 词的英文句子重复了超过 60,000 次；去重后训练的模型输出记忆文本的频率约降至十分之一。Anthropic 披露清洗方法「包括去重和分类」。ERNIE 5.0 明确表示使用大规模去重以降低 memorization artifacts（记忆伪影，即模型逐字复述训练数据的现象）。

安全与隐私。Gemma 3 披露了多阶段 CSAM 过滤、个人信息及敏感数据过滤。OpenAI 表示不以训练为目的主动收集个人信息，并会排除聚合大量个人数据的网站。

评测污染。ERNIE 5.0 披露了 decontamination 措施，防止评测基准数据进入训练语料。GPT-3 论文也讨论了训练集与测试集重叠问题。

数据配比与标注。Qwen3 的数据标注系统对超过 30 万亿 token 按教育价值、领域、行业、安全等维度做了标注，用于过滤和数据混合比例调整。

此外，合成数据在训练中的比重也在增加。Anthropic 近期模型的训练数据中列出了「其他模型生成的合成数据」。这意味着模型的知识来源不再等同于「爬取的网页」——即使一个网站被收录进了训练集，它在整个数据配比中的权重也无法从外部判断。

对内容方意味着什么

从这些公开信息可以得出几个推论。

第一，训练路径几乎不可控。你不知道内容有没有被爬取、有没有通过质量过滤、有没有在去重中被保留、在最终训练配比中占多大权重，也不知道下一次预训练什么时候发生。整个反馈周期可能是几个月到一年以上，且无法测量。

第二，进入训练集不等于被记住。OpenAI 强调「模型参数不是一个简单的网页数据库副本」。模型对大量数据中的统计模式做压缩，某篇文章进入训练集不等于模型能复述其内容或 URL。

第三，把同一篇内容复制到大量低质量站点上不会成倍增加价值。去重是所有公开过流程的厂商都在做的事。Google 的垃圾政策已把「使用生成式 AI 工具生成大量对用户没有增加价值的页面」列为 scaled content abuse 的例子，并明确把「试图操纵生成式 AI 回答」纳入了政策范围。

第四，检索路径可控得多。你可以确认页面是否被爬取和索引，可以控制 robots.txt 对不同爬虫的授权，可以更新内容并观察引用变化，而且部分结果可以在几天到几周内测量。

GEO 应该优先优化检索路径——让内容在 AI 搜索中能被找到、能被理解、值得被引用——而不是押注进入训练语料的概率。

从检索路径推导优先级

路径确定了，具体该做什么就有了依据。

技术可达性

Google 的生成式搜索指南表述很直接：生成式 AI 搜索使用 RAG，依靠核心 Search 排名系统从索引中检索网页；页面必须已被索引，并且有资格带摘要展示，才可能作为 AI 回答的支持链接出现。没有额外的技术要求。

对于 ChatGPT 搜索，需要确认 OAI-SearchBot 没有被 robots.txt 或 CDN/WAF 拦截。2025 年 7 月 Cloudflare 把默认设置改为拦截 AI 爬虫，其公告未区分训练爬虫和搜索爬虫。使用 Cloudflare 或类似服务的站点，建议确认安全规则没有误拦想要放行的搜索类爬虫。GPTBot 是否放行可以根据企业对训练授权的立场单独决定，两者不冲突。

技术审计是第一步，优先级高于任何内容策略——被挡在门外就没有后面的 GEO。本站的 robots.txt 对所有 User-agent 开放，只禁止 /admin/、/cms-auth/、/cms-api/ 三个后台路径；站点根目录也放了一份 llms.txt，但 Google 明确表示「Google Search 会忽略它们」。

非大路货内容

Google 2026 年更新的生成式搜索指南特别鼓励提供有独特专业或亲身经验视角的 non-commodity（非大路货）内容。同时明确反对为每种搜索变体单独造页面，并将这种做法与 scaled content abuse 联系起来。

背后的逻辑链条是：当 AI 已经能从参数记忆中生成常识性回答时，检索阶段有价值的是模型自身不具备的信息——最新数据、一手调查、特定场景的技术细节、行业基准。这类内容更难被竞争对手复制，也更容易吸引第三方引用。

GEO 原始论文（Aggarwal 等，KDD 2024）在其自建的生成式引擎上做了实验，发现加入引语、统计数据和引用来源在可见度指标上相对基线提升约 30–40%，而关键词堆砌低于基线。这些结果来自特定实验环境，不等于任何商业引擎的排序公式，但方向值得注意：有实质内容的页面比堆砌关键词的页面表现更好。

事实一致性

AI 搜索系统可能通过 query fan-out 对一个问题发出多个子查询。这意味着产品名称、价格、功能、支持范围等信息可能被从不同页面分别检索。如果官网上多个页面给出了互相矛盾的说法，AI 面临的不是「找不到你」而是「不知道该信哪个你」。统一核心事实的优先级高于创造更多内容。

第三方验证

Google 的指南提到生成式搜索会呈现整个网络中关于产品的内容，但也明确警告寻求不真实的提及（inauthentic mentions）「并不像看起来那么有用」。

有价值的第三方信源——行业报告、专业媒体、客户公开案例——能为 AI 提供独立的事实交叉验证。企业官网适合提供一手产品事实，但对于「这个产品和竞品相比如何」这类问题，独立来源的证据可能更被采信。这不是某厂商公开的加权公式，而是基于检索系统通常如何评估信息可信度的合理推断。

不需要特殊的 AI 技术栈

Google 明确表示：不需要为出现在生成式搜索中创建新的机器可读文件或特殊标记，不需要把内容拆成小块，没有专门为生成式 AI 准备的 schema.org 标记。来源

关于结构化数据和 llms.txt 为什么不是「AI 引用按钮」，前文有更详细的讨论。简单说：做好常规的技术 SEO——可抓取、可索引、语义清晰的 HTML、准确的 canonical 和内部链接——就是 AI 搜索对技术层面的全部要求。

测量

检索路径比训练路径可控的另一个原因是可测量。

可以直接使用的数据源

ChatGPT 搜索的引用链接会自动加入 utm_source=chatgpt.com，可在分析工具中直接筛选来自 ChatGPT 的引荐流量。Google Search Console 已提供生成式 AI 功能的表现报告，用于衡量内容在 AI 功能中的可见度。

该追踪什么

光看「AI 有没有提到品牌」不够。至少需要几个维度：

维度要回答的问题
品牌提及率用户问目标问题时，AI 回答中是否出现品牌
描述准确率AI 对品牌和产品的描述是否正确
自有链接引用率AI 是否引用了官网页面
引用份额在同一回答的引用中，与竞品各占多少
AI 引荐流量与转化实际带来多少访问，是否产生转化
信息时效性AI 是否引用了过时的价格、功能或版本

前文讨论过的「幽灵引用」现象——被引用但品牌未出现在答案正文——说明只统计链接数量而不看文本提及也会遗漏信息。

实验设计

AI 输出有随机性，可能受时间、地区、登录状态、query 改写和模型版本影响。一次询问的结果不能说明趋势。

一个可行的做法是配对测试：选取表现接近的页面，对一半做 GEO 重构，另一半保持原状；用固定的问题集、在固定的条件下、每周重复多次采样，持续数周。比较的是重构组和对照组之间引用率的差异，而不是单次回答的随机波动。每次采样至少记录时间戳、AI 产品与版本、问题文本、品牌是否被提及、引用的 URL 列表、回答文本的哈希值。

这些数据积累到足够长的时间线之后，才能区分「内容改进的效果」和「模型本身的变化」。关于流量路径的整体迁移趋势，也值得作为解读 GEO 数据时的背景参照。

边界

本文的分析基于截至 2026 年 10 月各厂商公开的文档、技术报告和论文。闭源模型的完整训练配方、数据配比和过滤阈值均未公开，文中涉及的推断已在出现处标明。开放模型（如 Gemma、Qwen）的公开细节多于闭源模型，不能把开放模型的数据构成等同于同一厂商闭源模型的完整做法。Gemma 是 Google 的开放模型，其数据构成不等于 Gemini 的完整数据构成。

GEO 论文的实验结论来自作者自建的生成式引擎和 Perplexity.ai 的有限验证，不等于任何商业 AI 搜索的排序公式。

「第三方验证对引用的影响」和「事实一致性对 AI 回答质量的影响」属于基于检索系统工作方式的推断，不是某个厂商公开的加权公式。配对测试方法尚未在 GEO 场景中有公开的大规模验证。

各厂商的政策和文档都可能更新，文中给出的 URL 指向写作时的版本。

模型列出的参考来源

  1. OpenAI Bots Documentation GPTBot 与 OAI-SearchBot 的分离及各自用途
  2. Anthropic Crawler Documentation ClaudeBot、Claude-SearchBot、Claude-User 的分离
  3. Google Common Crawlers — Google-Extended Google-Extended 控制训练与 grounding，不影响 Search 收录
  4. AI Features and Your Website — Google AI 功能展示的 snippet/index 控制及 query fan-out
  5. Optimizing for Generative AI Features — Google RAG grounding、non-commodity 内容、llms.txt、Search Console 报告
  6. Google Spam Policies scaled content abuse 和操纵生成式 AI 回答纳入政策范围
  7. How ChatGPT and Our Foundation Models Are Developed — OpenAI 训练数据来源、过滤类型、参数与数据库的区别
  8. Publishers and Developers FAQ — OpenAI ChatGPT 搜索引荐的 utm_source 追踪
  9. Language Models are Few-Shot Learners (GPT-3) Common Crawl 45TB→570GB 的过滤规模
  10. PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models 80TB→1.1TB 中文语料清洗流程
  11. Deduplicating Training Data Makes Language Models Better 训练数据重复规模及去重效果
  12. Anthropic Transparency Hub 去重、分类等清洗方法以及合成数据使用
  13. ERNIE 5.0 Technical Report 大规模去重与评测去污染
  14. Gemma 3 Model Card — Google CSAM、安全与隐私过滤
  15. Qwen3 Technical Report 30 万亿 token 多维度数据标注系统
  16. GEO: Generative Engine Optimization 引语、统计、引用 vs 关键词堆砌的实验结果
  17. Cloudflare — Content Independence Day CDN 默认拦截 AI 爬虫对搜索类爬虫的潜在影响

Claude Opus 5.5

训练语料与检索引用：GEO 该优化哪条路径

拆开「进入训练语料」和「被 AI 搜索检索并引用」两条路径，对照各厂商公开的数据清洗方法，推出内容方的优先级、爬虫配置检查表和可复测的引用记录方法。

模型 ID
claude-opus-5-5
用时
5.5 分钟
输出 token（含思考）
33,932
费用（CLI 报告）
$0.95
正文汉字
6,624
结构：6 节 / 12 小节
  1. 两条路径，两种产物
  2. 训练之前：公开披露里的四道筛
  3. 检索路径：公开规则说了什么
  4. 优先级
  5. 测量：两条路径分开记账
  6. 边界

前文《GEO 不是给 ChatGPT 做 SEO, 而是让内容被答案引擎正确引用》讲的是答案引擎怎样检索、生成和引用网页。这一篇往下挖一层：大模型训练前会对网页做大规模过滤、去重和分类，在公开披露的案例里，原始网页的绝大部分没有留在训练语料中。那么在这个前提下，做 GEO（Generative Engine Optimization，面向生成式答案引擎的内容优化）到底该优化什么。

本文的依据是截至 2026-10-09 各厂商公开的爬虫文档、训练数据披露和几篇论文。文中会在出现处区分文档原文和由此推出的判断。测量部分给出的是方法设计，没有附实测数据。

两条路径，两种产物

讨论「内容会不会被 AI 用到」时，常常有两件事被混在一起。

第一条是训练路径。网页被训练类爬虫抓取，经过质量过滤、去重、安全和隐私过滤，再与其他来源按比例混合后进入预训练；预训练之后还有指令微调、偏好学习、蒸馏等阶段。这条路径最终交付的是一组模型参数。一篇文章即使经过层层过滤留了下来，它起的作用也只是参与塑造模型对某类说法的统计倾向。

第二条是检索路径。网页被搜索类爬虫抓取进索引；用户提问时，系统检索相关页面，把它们交给模型作为生成回答的依据，并在回答里附上来源。这条路径交付的是某一次回答里的证据和链接。

RAG 原始论文把这两类知识分别称为参数化记忆和非参数化记忆：前者存放在模型权重里，后者来自外部检索。RAG（Retrieval-Augmented Generation，检索增强生成）就是把两者结合起来的做法。

训练路径决定模型平时「知道什么」，检索路径决定某一次回答「拿谁当证据、给谁链接」。

这不只是概念上的区分。三家厂商都在抓取控制上把两条路径分开了：

  • OpenAI 的爬虫文档写明：GPTBot 的用途是让生成式 AI 基础模型更有用、更安全，禁止它表示内容不应被用于训练基础模型；OAI-SearchBot 负责让网站出现在 ChatGPT 的搜索功能里。站长可以允许 OAI-SearchBot、同时禁止 GPTBot，两项设置互相独立。
  • Anthropic 的爬虫说明列了三个：ClaudeBot 收集可能用于训练的网页内容；Claude-SearchBot 为搜索建立索引；Claude-User 在用户向 Claude 提问时访问网站。禁用 ClaudeBot 的后果是网站今后的内容被排除在训练数据集之外；禁用另外两个，文档给出的后果是搜索中的可见度「可能降低」。
  • Google 使用的是一个产品令牌 Google-Extended，用来管理抓取内容是否用于训练未来几代 Gemini 模型，以及是否用于 grounding。爬虫文档写明它不影响网站是否被 Google Search 收录，也不作为排名信号。另一方面，按 AI 功能说明，页面要作为支持链接出现在 AI Overviews 或 AI Mode 中，前提是已被索引，并且有资格在 Search 里带摘要展示。

Google 这一项不能简单套成「训练对检索」。Google-Extended 管的除了 Gemini 训练，还有 Gemini 的 grounding。对照两份文档可以推出：Search 里 AI 功能的展示由索引和摘要规则控制，Google-Extended 不碰这一块。不过这是推断，Google 并没有用这句话直接写出来。

训练路径检索路径
抓取入口GPTBot、ClaudeBot；Google 用 Google-Extended 令牌控制OAI-SearchBot、Claude-SearchBot、Claude-User；Google Search 的抓取与索引
中间环节过滤、去重、配比、后训练索引、检索、排序、生成
产物模型参数一次回答里的证据与链接
时间尺度以模型版本为单位以单次查询为单位
内容方能观测到的几乎没有爬虫日志、引荐流量、引用记录
内容方能控制的是否授权训练类抓取能否被抓取、索引、带摘要展示，以及内容本身

表中后四行是本文根据上述文档做的归纳。

训练之前：公开披露里的四道筛

闭源厂商不会公布过滤阈值、各来源占比和完整流程。下面只使用公开写出来的内容，并且按操作类型而不是按厂商归类，因为对内容方有用的问题是「哪类网页会在哪一步出局」。

质量过滤

GPT-3 论文为提高 Common Crawl 的质量做了三件事：按与高质量参考语料的相似度过滤；在文档级别、数据集内部和数据集之间做模糊去重；把已知的高质量参考语料加入训练配比。Common Crawl 部分过滤前是 45TB 压缩纯文本，过滤后是 570GB，按论文给出的这两个数字计算，相差约 80 倍。

PanGu-α 论文写得更具体。它从 Common Crawl、百科、新闻、电子书等来源收集了近 80TB 原始数据，清洗后得到 1.1TB 中文语料。规则清洗阶段删除中文字符过少或文本过短的文档，按关键词识别并删除含广告的文档，识别并去除导航栏；模型过滤阶段用 fastText 分类器去掉垃圾内容，用质量分类器去掉低分文档；之后再用敏感词表去除有害内容。

较新的披露没有这么细，但方向相同。ERNIE 5.0 技术报告写的是用启发式过滤器和基于模型的过滤器删除低质量与不安全内容。Qwen3 技术报告披露，其多语言数据标注系统对超过 30 万亿 token 做了教育价值、领域、行业、安全等多维度标注，用于数据过滤和配比。Hugging Face 的 FineWeb 是一个结果公开可查的例子：从 96 个 Common Crawl 快照得到 15 万亿 token，再从中筛出 1.3 万亿 token 的教育类文本，即 FineWeb-Edu。

这些过滤器看的是文本本身的特征：像不像参考语料，分类器给几分，正文有多少，有没有广告。把 PanGu-α 的规则连起来看，导航栏先被剥掉，剩下的正文如果过短，整篇文档就会被删除。由此可以推断，正文很薄、主要由导航和推广组成的页面，在类似流程里出局的可能性较高。各厂商的实际阈值没有公开。

去重

Lee 等人 2021 年的研究给出了重复数据的规模和后果。在他们研究的数据集上训练出的语言模型，无提示输出中有超过 1% 是逐字复制训练数据；C4 数据集里有一句 61 个英文单词的句子重复了超过 60,000 次。去重后训练的模型，输出记忆文本的频率约降到原来的十分之一，并且能用更少的训练步数达到相同或更好的准确率。

在各家的披露里，去重都是固定项目。GPT-3 做文档级模糊去重，PanGu-α 做跨数据源模糊去重。Anthropic 透明度页面写明其清洗和过滤方法「包括去重和分类」。ERNIE 5.0 写明大规模去重是为了防止记忆伪影（memorization artifacts）。

对内容方来说，这里有两层含义。第一，同一篇稿件铺到许多站点，经过模糊去重后很可能只剩少数几份，增加份数并不能换来更大的权重。这一点是推断，依据是上述去重的目的就是合并近似重复的文本。第二，去重的明确目标之一是降低模型对具体文本的逐字记忆。希望模型「记住某个网站的原话」，与训练流程的设计方向正好相反。

安全、隐私与去污染

OpenAI 的说明页写明：公开网络部分只使用公开可得的内容，不使用付费墙之后和暗网的内容；训练前会过滤仇恨言论、成人内容、主要用于聚合个人信息的网站以及垃圾内容；不会为了训练模型而主动收集个人信息。Gemma 3 模型卡写明在数据准备的多个阶段做 CSAM（儿童性虐待材料）过滤，用自动化技术过滤某些个人信息和其他敏感数据，并按 Google 政策基于内容质量和安全做过滤。

去污染（decontamination）是指把评测基准的数据从训练集中清除，避免模型「背答案」，ERNIE 5.0 报告列有这一项。GPT-3 论文记录了一次没有做好的情况：作者尝试移除与评测集的重叠，一个过滤 bug 导致部分重叠被漏掉，而由于训练成本太高，重新训练不可行。

这个细节对内容方的意义不在去污染本身，而在于它暴露了训练的节奏：训练数据在准备阶段一次定下，发现问题后也未必会重来。在公开材料里，训练路径上没有「单页申诉」或「重新抓取后更新」之类的机制。

配比与之后的阶段

过滤后留下的数据也不是平均使用的。GPT-3 把已知的高质量语料加入了配比，Qwen3 的多维标注同时用于过滤和配比。网页也只是数据来源之一。OpenAI 列出的三类来源是：互联网上公开可得的信息、与第三方合作获得的信息、用户及人类训练员和研究人员提供或生成的信息。Anthropic 披露的近期 Claude 模型（例如 2026 年 9 月发布的 Claude Opus 5.5）使用网络公开信息、公开与私有数据集、用户数据，以及其他模型生成的合成数据；而 2026 年 4–5 月发布的 Opus 4.7、4.8 的披露中没有列出用户数据。可见数据构成会随模型版本变化，各来源的占比没有公开。

规模方面，Gemma 3 的 27B 模型训练数据是 14 万亿 token，1B 模型是 2 万亿 token；Qwen3 的预训练数据是 36 万亿 token，覆盖 119 种语言和方言。

预训练之后的阶段离网页更远。InstructGPT 的路线是监督微调、人类偏好比较、训练奖励模型，再做强化学习；Constitutional AI 让模型按一组原则自我批评和修订，并用 AI 反馈做强化学习。按论文的描述，这两类方法的目标是让模型更好地遵循指令、减少有害输出，而不是灌入新的网页知识。Qwen3 还为轻量模型设计了强到弱蒸馏（strong-to-weak distillation），让小模型向先进的教师模型学习，报告称这种做法在小模型的性能和训练效率上明显优于直接做强化学习。对于这样蒸馏出来的小模型，网页文本即使产生了影响，也是经过教师模型转手的间接影响。这一点是推断。

推到内容方身上

把这四道筛放在一起，对一个希望「进入训练语料」的内容方，可以推出四点。以下均为推断：

  1. 不可观测。没有公开渠道可以查询某一页是否进入了某个模型的训练集，或者在哪一步被过滤掉。
  2. 周期以模型版本计。数据在准备阶段批量定下，错过一次就要等下一次训练。
  3. 不产出链接。参数路径交付的是统计倾向。按 OpenAI 和 Google 的文档，产品里带链接的引用来自搜索功能和 Search 索引。
  4. 门槛与检索路径重合。能通过过滤和去重的文本，即正文为主、不与大量网页近似重复、不是垃圾页或广告页的文本，在检索路径上同样更可能被采用。

第 4 点意味着不需要为训练路径单独做什么。在训练路径上，内容方真正能做的决定只有一个：允许还是禁止训练类爬虫。这是一个许可问题，答案取决于是否愿意让内容用于训练，与可见度优化不是一回事。

对内容方而言，训练路径上可做的只有授权，可优化的部分几乎都在检索路径上。

检索路径：公开规则说了什么

Google 的生成式 AI 优化指南（最后更新于 2026-07-10）是目前最直接的一份文档，要点如下：

  • 生成式 AI 搜索使用 RAG（Google 也称 grounding），依靠核心 Search 排名系统，从 Search 索引中检索相关、较新的网页。
  • query fan-out 是模型生成的一组并发相关查询，用来获取更多信息。
  • 不需要为此创建新的机器可读文件、AI 文本文件、标记或 Markdown。可以创建 llms.txt，但 Google Search 会忽略它。不需要把内容拆成小块，也没有专门需要添加的 schema.org 标记。
  • 鼓励超越常识、带有独特专业视角或亲身经验的「非大路货」（non-commodity）内容。
  • 为每种可能的搜索变体单独造页面、且主要目的是操纵排名或 AI 回答，违反 scaled content abuse 垃圾政策，页面数量多不会让网站质量更高。寻求不真实的提及「并不像看起来那么有用」。

Google 的垃圾政策（最后更新于 2026-08-28）开篇就把「试图操纵 Google 搜索中的生成式 AI 回答」列入范围，scaled content abuse 的例子中包括使用生成式 AI 工具生成大量对用户没有增加价值的页面。

OpenAI 方面，发布方 FAQ 说任何公开网站都可能出现在 ChatGPT 搜索中；爬虫文档说，退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中，但仍可能以导航链接的形式出现。Anthropic 的对应条款在前文已经列出。

把这些规则和训练侧放在一起看，有两处对应值得注意。

一是「非大路货」与去重。训练侧的模糊去重和质量过滤处理的是与大量文本相似的内容；Google 在检索侧把复述常识的内容称为大路货。两者不是同一套机制，但指向同一类文本：用常见说法重写常见知识的页面，在训练侧容易被合并掉，在检索侧也缺少被单独采用的理由。这是一个类比性的推断。

二是 fan-out 与变体页。fan-out 会把一个问题拆成若干相关查询分别检索，这很容易诱导人为每个子查询造一个页面。Google 把这种做法直接列为垃圾政策风险，同时说明不需要把内容拆成小块。与之对应的做法是：让一个页面在它覆盖的每个子问题上都有明确、可以单独理解的答案，而不是增加页面数量。

具体写法（问题前置、结论前置、实体明确等）在前文已有一份七条的框架，这里不再重复，只补充一项来自学术实验的方向性证据。GEO 论文（KDD 2024）在作者自建的生成式引擎上测试了多种改写方法。这个引擎取 Google 前 5 个结果，用 gpt-3.5-turbo 生成回答。结果是：加入引语、加入统计数据、引用来源三种方法，在「位置加权字数」指标上相对基线提升约 30–40%；关键词堆砌则低于基线（17.8 对 19.5）。在 Perplexity.ai 的 200 条查询子集上，加入引语在同一指标上提升约 22%。论文同时指出，有效的策略因领域而异。它能说明的是「在那个实验环境里，可核对的证据比关键词更有用」，不能当作任何商业引擎的排序规则。

优先级

把两条路径的结论合起来，可以排出下面的顺序。排序本身是本文的判断，「依据」一栏标明每一项依托的是文档原文、论文实验还是推断。

顺序事项依据
1搜索类爬虫可以访问，重要页面可以被索引、可以带摘要展示文档：Google AI 功能说明，OpenAI 与 Anthropic 爬虫文档
2核对 CDN / WAF 是否误拦搜索类爬虫由 Cloudflare 默认设置变更推出的建议
3训练类爬虫按授权意愿单独决定文档（OpenAI 写明两者独立）；Google 部分含推断
4正文为主，提供非大路货信息文档（Google 指南）；与训练侧过滤规则的对应是推断
5关键结论配上数据、引语和出处论文实验，属方向性证据
6同一事实只在一处维护，并标明日期与版本推断
7争取真实的第三方提及，不买不造文档（Google 对不真实提及的态度）；正面效果是推断
放后追求进入训练、多站铺稿、批量变体页、把 llms.txt 当杠杆见上文各节

第 1–3 项：爬虫与索引

下表按厂商文档整理各爬虫的用途和退出后果。

爬虫 / 控制项文档说明的用途禁止或使用后的效果
GPTBot让生成式 AI 基础模型更有用、更安全内容不应被用于训练基础模型
OAI-SearchBot在 ChatGPT 搜索功能中展示网站不出现在 ChatGPT 搜索答案中，仍可能以导航链接出现
ChatGPT-User用户在 ChatGPT 或自定义 GPT 中发起的操作由用户发起，robots.txt 规则可能不适用
OAI-AdsBot检查提交为 ChatGPT 广告的网页是否安全收集的数据不用于训练基础模型
ClaudeBot收集可能用于训练的网页内容今后的内容被排除在训练数据集之外
Claude-SearchBot提升搜索结果质量不再为搜索索引内容，可能降低搜索可见度与准确度
Claude-User用户向 Claude 提问时访问网站回答时无法获取内容，可能降低用户主导搜索中的可见度
Google-ExtendedGemini 训练与 grounding不影响 Google Search 收录与排名
nosnippet、data-nosnippet、max-snippet、noindex限制内容在 AI Overviews / AI Mode 中的展示按 Google 文档，这是控制这两项功能展示的方式

其他几点文档细节：OpenAI 说明 robots.txt 更新后，其搜索系统大约需要 24 小时调整；Anthropic 说明它的爬虫遵守 robots.txt，不会绕过验证码。

如果决定「允许检索、拒绝训练」，按上表可以写成下面这样（示例配置，用于说明写法，不代表推荐这种选择）：

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /admin/

示例里没有写 Google-Extended，原因是它同时管着 Gemini 的 grounding。按文档的描述，禁止它会影响内容在 Gemini 中被用作 grounding，要不要加，需要单独权衡。

本站的配置可以作为参照：robots.txt 对所有 User-agent 开放，只禁止 /admin/、/cms-auth/、/cms-api/ 三个后台路径。也就是说，训练类和检索类爬虫都被允许。

robots.txt 放行不等于爬虫真的能访问到页面。Cloudflare 在 2025 年 7 月 1 日的博客中宣布，把默认设置改为拦截 AI 爬虫（除非它们为内容付费），并推出按次抓取付费；这篇博客没有区分训练爬虫和搜索爬虫。由此可以得出一条建议：使用 CDN 或 WAF 的站点，应当确认安全设置没有误拦本想放行的搜索类爬虫。下文的日志检查可以发现这类问题。

第 4–6 项：内容本身

第 4 项在前面两节已经讨论过，这里只补充一点：「正文为主」不只是排版问题。核心事实如果只出现在图片、弹层或需要交互才能展开的组件里，在训练侧会落入「文本过短」的那一类，在检索侧也更难被抽取为证据。后半句是推断。

第 5 项的依据是 GEO 论文，强度见上一节。

第 6 项完全来自推断，推理过程如下。训练语料有时间边界，模型参数里的版本可能已经过时；检索路径能纠正过时信息，前提是当前版本的页面能被检索到，而且站内没有另一个旧页面给出不同的说法。如果价格、版本或兼容性这类事实分散在多个 URL 上且互相矛盾，检索系统就可能把矛盾一起交给模型。对应的做法是：每个事实只在一个页面维护，其他页面链接过去；写明「截至某年某月」以及适用的版本，而不是写「目前」「新版」。下面是一个写法对比（虚构示例）：「新版支持更多导出格式」与「Acme 导出工具 3.2 版（2026 年 9 月发布）支持 CSV 和 Parquet 两种格式，单次导出上限 100 万行」。后者把主体、版本、时间和数值放进了同一句话，脱离上下文也能成立。

第 7 项：第三方提及

Google 文档对这一项给出的是反面信息：寻求不真实的提及并不像看起来那么有用，而操纵生成式 AI 回答属于垃圾政策的范围。正面的部分是推断：当检索结果里除了官网之外，还有独立来源给出一致的事实，模型可用的证据就不止一份。能做的事情是让真实的报道、评测和讨论有据可依，比如提供可以引用的原始数据和一个稳定的事实页面，而不是去制造提及。

放在后面的几项

追求进入训练语料：理由见「推到内容方身上」一节。多站铺稿：模糊去重会合并近似重复的文本。批量变体页：Google 已明确列入 scaled content abuse。把 llms.txt 当杠杆：Google Search 会忽略它。本站根目录也有一份 llms.txt，但按 Google 的说明，它不会影响本站在 Google Search 中的表现。

测量：两条路径分开记账

训练路径：基本不可测

一种能做的事是在关闭联网搜索的条件下，向模型询问与自己内容相关的问题，看参数里留下了什么。但这样得到的结果无法归因到某一个页面，也不能说明内容是在哪一步被过滤的。它最多能用来发现模型对某个主题的错误认知，属于诊断而不是指标，而且结果的稳定性没有经过验证。

检索路径：抓取、流量、引用三层

以下设计是根据前文的机制推出来的，没有经过实测验证。

抓取层看服务器日志。按 User-agent 把访问分成三组：训练类（GPTBot、ClaudeBot）、搜索类（OAI-SearchBot、Claude-SearchBot）、用户触发类（ChatGPT-User、Claude-User），然后分别统计重点 URL 的被访问情况。如果搜索类爬虫长期没有出现，而 robots.txt 已经放行，优先排查 CDN 和 WAF。User-agent 可以伪造，所以严肃的统计需要额外核验请求来源。

流量层看引荐。ChatGPT 会在引荐 URL 中自动加入 utm_source=chatgpt.com，可以直接在分析工具里筛选。Google 的指南提到，Search Console 提供衡量内容在 Search 与 Discover 生成式 AI 功能中表现的报告。需要注意，被引用不等于被点击，这一点在站内文章《网站没有消亡，消失的是旧的流量路径》里有展开；前文引用过的「幽灵引用」研究也说明，被引用的品牌未必出现在答案正文中。

引用层需要自己采样。具体做法是：固定一组与站点主题对应的真实问题，在固定的产品、语言和账号条件下定期提问，记录答案是否引用了本站、引用了哪个 URL、对本站内容的描述是否正确。回答会随时间、模型版本和索引变化，单次结果不足以下结论，所以每个问题需要在同一周期内重复多次。记录格式可以参考下表（虚构示例，数据为编造，仅用于说明字段）：

日期（虚构示例）引擎问题重复次数引用本站次数被引 URL描述正确
2026-10-01引擎 A问题 0152/zh/blog/xxx/是
2026-10-01引擎 A问题 0250——
2026-10-01引擎 B问题 0151/zh/blog/yyy/部分

每个指标都应当对应一个决策，否则不值得记录：

指标计算方式对应的决策
搜索类爬虫覆盖率重点 URL 中被搜索类爬虫访问过的比例是否排查 robots.txt、CDN 与 WAF
引用率问题集的全部回答中，引用本站任一 URL 的比例内容是否进入了证据集合
描述正确率提及本站内容的回答中，描述正确的比例是否修订或合并事实页
被引页面分布引用集中在哪些 URL内部链接与更新的优先顺序
AI 引荐访问utm_source=chatgpt.com 与 Search Console 报告被引用是否转化为访问

对照实验

如果要检验某种改写是否有效，可以采用配对设计：选出主题和现有表现相近的页面，两两配对，每对中只改写一篇，然后用同一组问题在同一周期内采样，比较两组引用率的变化。这套设计同样未经实测验证。它的主要干扰来自模型版本更新和索引变化，这两者会同时作用于两组页面，配对正是为了抵消这部分影响。GEO 论文中 30–40% 的提升是在自建引擎上测得的，这套设计能在商业引擎上测出什么结果，目前并不知道。

边界

  • 证据范围限于 2026-10-09 能看到的公开文档和论文。厂商文档会更新，例如 Google 的生成式 AI 指南最后更新于 2026-07-10，垃圾政策最后更新于 2026-08-28，文中的结论以这些版本为准。
  • OpenAI 的《How ChatGPT and our foundation models are developed》和发布方 FAQ 两个页面拒绝自动抓取，相关内容是通过搜索结果摘录交叉确认的，没有核对页面全文。
  • 训练侧的披露只能说明「做了什么」，不能说明阈值和比例。闭源厂商没有公布完整流程；Gemma 3 是开放模型，它的数据构成不等于 Gemini 的完整数据构成；GPT-3（2020）和 PanGu-α（2021）是早期工作，不代表这两家当前模型的做法；Anthropic 的披露在不同模型之间也有差异。某一家的做法不能推广为所有模型的做法。
  • GEO 论文的结论来自它自己的实验环境，不等于任何商业引擎的排序公式。
  • 本文没有涉及各 AI 搜索产品改写查询、排序和选择引用的内部细节，这些在公开材料中没有足够的披露。
  • 「优先级」一节的排序以及第 6、7 项的正面效果，「测量」一节的全部方法，都是从公开机制推出来的，没有实验数据支持。本文也没有量化参数化知识在不联网回答中的作用，只说明了内容方难以对它施加影响。

模型列出的参考来源

  1. GEO: Generative Engine Optimization（Aggarwal 等，KDD 2024） 自建生成式引擎与 Perplexity 子集上各改写方法的效果，以及「策略因领域而异」的结论。
  2. Google Search Central: Optimizing for generative AI features on Google Search RAG/grounding 基于 Search 索引、query fan-out 定义、llms.txt 被忽略、无需分块与专门 schema、non-commodity 内容、变体页与不真实提及、Search Console 报告。
  3. Google Search Central: AI features and your website AI Overviews / AI Mode 支持链接需已索引且可带摘要，以及 nosnippet 等展示控制方式。
  4. Google Search Central: Google common crawlers（Google-Extended） Google-Extended 管 Gemini 训练与 grounding，不影响 Search 收录与排名。
  5. OpenAI: Overview of OpenAI Crawlers GPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBot 的用途与退出效果，两项设置互相独立，约 24 小时生效。
  6. OpenAI Help Center: Publishers and Developers FAQ 公开网站都可能出现在 ChatGPT 搜索中，引荐 URL 自动带 utm_source=chatgpt.com。
  7. OpenAI: How ChatGPT and our foundation models are developed 基础模型的三类数据来源，以及对仇恨、成人、个人信息聚合站和垃圾内容的过滤。
  8. Language Models are Few-Shot Learners（GPT-3，Brown 等，2020） Common Crawl 的三步质量处理、45TB 到 570GB 的过滤规模，以及去污染 bug 未能重训的记录。
  9. Anthropic Transparency Hub 近期 Claude 模型的训练数据来源与「包括去重和分类」的清洗方法，以及不同模型披露的差异。
  10. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? ClaudeBot、Claude-SearchBot、Claude-User 的用途与禁用后果。
  11. Gemma 3 model card 训练 token 规模，以及 CSAM、个人信息、质量与安全过滤。
  12. Qwen3 Technical Report（arXiv:2505.09388） 36 万亿 token 预训练数据、超过 30 万亿 token 的多维标注用于过滤与配比、强到弱蒸馏。
  13. PanGu-α（arXiv:2104.12369） 80TB 到 1.1TB 的清洗流程：规则清洗、fastText 与质量分类器、敏感词表、跨源模糊去重。
  14. ERNIE 5.0 Technical Report（arXiv:2602.04705） 启发式与模型过滤、为防止记忆伪影的大规模去重、去污染。
  15. Deduplicating Training Data Makes Language Models Better（Lee 等，2021） 逐字复制比例、C4 中重复超过 60,000 次的句子、去重后记忆输出约降至十分之一。
  16. The FineWeb Datasets（Penedo 等，2024） 15 万亿 token 的 FineWeb 与 1.3 万亿 token 的 FineWeb-Edu。
  17. Cloudflare: Content Independence Day 2025-07-01 起默认拦截 AI 爬虫，且未区分训练与搜索爬虫。
  18. Google Search Central: Spam policies for Google web search 政策范围包括操纵生成式 AI 回答，scaled content abuse 涵盖用生成式 AI 批量产出无增值页面。
  19. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（Lewis 等，2020） 参数化记忆与非参数化记忆的区分。
  20. Training language models to follow instructions with human feedback（InstructGPT，2022） SFT、人类偏好比较、奖励模型、强化学习的后训练路线。
  21. Constitutional AI: Harmlessness from AI Feedback（Bai 等，2022） 按原则自我批评与修订、用 AI 反馈做强化学习。