训练语料与检索引用：GEO 该优化哪条路径

前文《GEO 不是给 ChatGPT 做 SEO, 而是让内容被答案引擎正确引用》讲的是答案引擎怎样检索、生成和引用网页。这一篇讲它下面的一层：大模型训练前会对网页做大规模过滤、去重和分类，在公开披露的案例里，原始网页的绝大部分没有留在训练语料中。那么在这个前提下，做 GEO（Generative Engine Optimization，面向生成式答案引擎的内容优化）到底该优化什么。

本文的依据是截至 2026-10-09 各厂商公开的爬虫文档、训练数据披露和几篇论文。文中会在出现处区分文档原文和由此推出的判断。测量部分给出的是方法设计，没有附实测数据。

两条路径，两种产物

讨论「内容会不会被 AI 用到」时，常常有两件事被混在一起。

第一条是训练路径。网页被训练类爬虫抓取，经过质量过滤、去重、安全和隐私过滤，再与其他来源按比例混合后进入预训练；预训练之后还有指令微调、偏好学习、蒸馏等阶段。这条路径最终交付的是一组模型参数。一篇文章即使经过层层过滤留了下来，它起的作用也只是参与塑造模型对某类说法的统计倾向。

第二条是检索路径。网页被搜索类爬虫抓取进索引；用户提问时，系统检索相关页面，把它们交给模型作为生成回答的依据，并在回答里附上来源。这条路径交付的是某一次回答里的证据和链接。

RAG 原始论文把这两类知识分别称为参数化记忆和非参数化记忆：前者存放在模型权重里，后者来自外部检索。RAG（Retrieval-Augmented Generation，检索增强生成）就是把两者结合起来的做法。

训练路径决定模型平时「知道什么」，检索路径决定某一次回答「拿谁当证据、给谁链接」。

两条路径的示意图。训练路径：网页经训练类爬虫抓取，依次经过质量过滤、去重、安全与隐私过滤和去污染、配比，进入预训练和后训练，产物是模型参数，以模型版本为单位更新，内容方几乎观测不到。检索路径：网页经搜索类爬虫抓取进索引，用户提问时检索（可能拆成多个相关查询），生成回答，产物是这次回答里的证据和链接，以单次查询为单位，内容方能看到爬虫日志、引荐流量和引用记录。内容方在训练路径上只能决定是否授权抓取，在检索路径上能影响抓取、索引、摘要展示和内容本身。

这不只是概念上的区分。三家厂商都在抓取控制上把两条路径分开了：

OpenAI 的爬虫文档写明：GPTBot 的用途是让生成式 AI 基础模型更有用、更安全，禁止它表示内容不应被用于训练基础模型；OAI-SearchBot 负责让网站出现在 ChatGPT 的搜索功能里。站长可以允许 OAI-SearchBot、同时禁止 GPTBot，两项设置互相独立。
Anthropic 的爬虫说明列了三个：ClaudeBot 收集可能用于训练的网页内容；Claude-SearchBot 为搜索建立索引；Claude-User 在用户向 Claude 提问时访问网站。禁用 ClaudeBot 的后果是网站今后的内容被排除在训练数据集之外；禁用另外两个，文档给出的后果是搜索中的可见度「可能降低」。
Google 使用的是一个产品令牌 Google-Extended，用来管理抓取内容是否用于训练未来几代 Gemini 模型，以及是否用于 grounding。爬虫文档写明它不影响网站是否被 Google Search 收录，也不作为排名信号。另一方面，按 AI 功能说明，页面要作为支持链接出现在 AI Overviews 或 AI Mode 中，前提是已被索引，并且有资格在 Search 里带摘要展示。

Google 这一项不能简单套成「训练对检索」。Google-Extended 管的除了 Gemini 训练，还有 Gemini 的 grounding。下面是对照两份文档的推断，Google 没有直接这样写：Search 里 AI 功能的展示由索引和摘要规则控制，Google-Extended 不碰这一块。

	训练路径	检索路径
抓取入口	GPTBot、ClaudeBot；Google 用 Google-Extended 令牌控制	OAI-SearchBot、Claude-SearchBot、Claude-User；Google Search 的抓取与索引
中间环节	过滤、去重、配比、后训练	索引、检索、排序、生成
产物	模型参数	一次回答里的证据与链接
时间尺度	以模型版本为单位	以单次查询为单位
内容方能观测到的	几乎没有	爬虫日志、引荐流量、引用记录
内容方能控制的	是否授权训练类抓取	能否被抓取、索引、带摘要展示，以及内容本身

表中后四行是本文根据上述文档做的归纳。

训练之前：公开披露里的四类过滤

闭源厂商没有公布过滤阈值、各来源占比和完整流程。下面只使用公开写出来的内容，并且按操作类型而不是按厂商归类，因为对内容方有用的问题是「哪类网页会在哪一步出局」。

质量过滤

GPT-3 论文为提高 Common Crawl 的质量做了三件事：按与高质量参考语料的相似度过滤；在文档级别、数据集内部和数据集之间做模糊去重；把已知的高质量参考语料加入训练配比。Common Crawl 部分过滤前是 45TB 压缩纯文本，过滤后是 570GB。论文没有说明 570GB 是否也按压缩后计，两个数的口径不一定相同，这里只并列原数，不算比例。

PanGu-α 论文写得更具体。它从 Common Crawl、百科、新闻、电子书等来源收集了近 80TB 原始数据，清洗后得到 1.1TB 中文语料。规则清洗阶段删除中文字符过少或文本过短的文档，按关键词识别并删除含广告的文档，识别并去除导航栏；模型过滤阶段用 fastText 分类器去掉垃圾内容，用质量分类器去掉低分文档；之后再用敏感词表去除有害内容。

较新的披露没有这么细，但方向相同。ERNIE 5.0 技术报告写的是用启发式过滤器和基于模型的过滤器删除低质量与不安全内容。Qwen3 技术报告披露，其多语言数据标注系统对超过 30 万亿 token 做了教育价值、领域、行业、安全等多维度标注，用于数据过滤和配比。Hugging Face 的 FineWeb 是一个结果公开可查的例子：从 96 个 Common Crawl 快照得到 15 万亿 token，再从中筛出 1.3 万亿 token 的教育类文本，即 FineWeb-Edu。

这些过滤器看的是文本本身的特征：像不像参考语料，分类器给几分，正文有多少，有没有广告。下面是按 PanGu-α 的规则做的推断：导航栏先被去掉，剩下的正文如果过短，整篇文档就会被删除，所以正文很薄、主要由导航和推广组成的页面，在类似流程里被删掉的可能性较高。各厂商的实际阈值没有公开。

去重

Lee 等人 2021 年的研究给出了重复数据的规模和后果。在他们研究的数据集上训练出的语言模型，无提示输出中有超过 1% 是逐字复制训练数据；C4 数据集里有一句 61 个英文单词的句子重复了超过 60,000 次。去重后训练的模型，输出记忆文本的频率约降到原来的十分之一，并且能用更少的训练步数达到相同或更好的准确率。

本文引用的训练数据披露里，有四份写明了去重：GPT-3 做文档级模糊去重，PanGu-α 做跨数据源模糊去重，Anthropic 透明度页面写明其清洗和过滤方法「包括去重和分类」，ERNIE 5.0 写明大规模去重是为了防止记忆伪影（memorization artifacts）。

对内容方来说，这里有两层含义。第一层是推断，依据是模糊去重的目的就是合并近似重复的文本：同一篇稿件铺到许多站点，去重后很可能只剩少数几份，增加份数换不来更大的权重。第二层有原文依据：去重的明确目标之一是降低模型对具体文本的逐字记忆。希望模型「记住某个网站的原话」，与训练流程的设计方向正好相反。

安全、隐私与去污染

OpenAI 的说明页写明：公开网络部分只使用公开可得的内容，不使用付费墙之后和暗网的内容；训练前会过滤仇恨言论、成人内容、主要用于聚合个人信息的网站以及垃圾内容；不会为了训练模型而主动收集个人信息。Gemma 3 模型卡写明在数据准备的多个阶段做 CSAM（儿童性虐待材料）过滤，用自动化技术过滤某些个人信息和其他敏感数据，并按 Google 政策基于内容质量和安全做过滤。

去污染（decontamination）是指把评测基准的数据从训练集中清除，避免模型「背答案」，ERNIE 5.0 报告列有这一项。GPT-3 论文记录了一次没有做好的情况：作者尝试移除与评测集的重叠，一个过滤 bug 导致部分重叠被漏掉，而由于训练成本太高，重新训练不可行。

这个细节对内容方的意义不在去污染本身，而在于它说明了训练的节奏：训练数据在准备阶段一次定下，发现问题后也未必会重来。本文查到的公开材料里，未见训练路径上有「单页申诉」或「重新抓取后更新」之类的机制。

配比与之后的阶段

过滤后留下的数据也不是平均使用的。GPT-3 把已知的高质量语料加入了配比，Qwen3 的多维标注同时用于过滤和配比。网页也只是数据来源之一。OpenAI 列出的三类来源是：互联网上公开可得的信息、与第三方合作获得的信息、用户及人类训练员和研究人员提供或生成的信息。Anthropic 披露的近期 Claude 模型（例如 2026 年 9 月发布的 Claude Opus 5.5）使用网络公开信息、公开与私有数据集、用户数据，以及其他模型生成的合成数据；而 2026 年 4–5 月发布的 Opus 4.7、4.8 的披露中没有列出用户数据。可见数据构成会随模型版本变化，各来源的占比没有公开。

规模方面，Gemma 3 的 27B 模型训练数据是 14 万亿 token，1B 模型是 2 万亿 token；Qwen3 的预训练数据是 36 万亿 token，覆盖 119 种语言和方言。

预训练之后的阶段离网页更远。InstructGPT 的路线是监督微调、人类偏好比较、训练奖励模型，再做强化学习；Constitutional AI 让模型按一组原则自我批评和修订，并用 AI 反馈做强化学习。按论文的描述，这两类方法的目标是让模型更好地遵循指令、减少有害输出，不是向模型加入新的网页知识。Qwen3 还为轻量模型设计了强到弱蒸馏（strong-to-weak distillation），让小模型向先进的教师模型学习，报告称这种做法在小模型的性能和训练效率上明显优于直接做强化学习。由此可以推断，对这样蒸馏出来的小模型，网页文本即使产生了影响，也是经过教师模型的间接影响。

推到内容方身上

把这四类过滤放在一起，对一个希望「进入训练语料」的内容方，可以推出下面四点，四点都是推断：

不可观测。本文查到的公开材料里，没有可以查询某一页是否进入了某个模型训练集、或者在哪一步被过滤掉的渠道。
周期以模型版本计。数据在准备阶段批量定下，错过一次就要等下一次训练。
不产出链接。参数路径交付的是统计倾向。按 OpenAI 和 Google 的文档，产品里带链接的引用来自搜索功能和 Search 索引。
门槛与检索路径重合。能通过过滤和去重的文本，即正文为主、不与大量网页近似重复、不是垃圾页或广告页的文本，在检索路径上同样更可能被采用。

第 4 点意味着不需要为训练路径单独做什么。在训练路径上，内容方真正能做的决定只有一个：允许还是禁止训练类爬虫。这是一个许可问题，答案取决于是否愿意让内容用于训练，与可见度优化不是一回事。

对内容方而言，训练路径上可做的只有授权，可优化的部分几乎都在检索路径上。

检索路径：公开规则说了什么

Google 的生成式 AI 优化指南（最后更新于 2026-07-10）是目前最直接的一份文档，要点如下：

生成式 AI 搜索使用 RAG（Google 也称 grounding），依靠核心 Search 排名系统，从 Search 索引中检索相关、较新的网页。
query fan-out 是模型生成的一组并发相关查询，用来获取更多信息。
不需要为此创建新的机器可读文件、AI 文本文件、标记或 Markdown。可以创建 llms.txt，但 Google Search 会忽略它。不需要把内容拆成小块，也没有专门需要添加的 schema.org 标记。
鼓励超越常识、带有独特专业视角或亲身经验的「非大路货」（non-commodity）内容。
为每种可能的搜索变体单独造页面、且主要目的是操纵排名或 AI 回答，违反 scaled content abuse 垃圾政策，页面数量多不会让网站质量更高。寻求不真实的提及「并不像看起来那么有用」。

Google 的垃圾政策（最后更新于 2026-08-28）开篇就把「试图操纵 Google 搜索中的生成式 AI 回答」列入范围，scaled content abuse 的例子中包括使用生成式 AI 工具生成大量对用户没有增加价值的页面。

OpenAI 方面，发布方 FAQ 说任何公开网站都可能出现在 ChatGPT 搜索中；爬虫文档说，退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中，但仍可能以导航链接的形式出现。Anthropic 的对应条款在前文已经列出。

把这些规则和训练侧放在一起看，有两处对应值得注意。

一是「非大路货」与去重。训练侧的模糊去重和质量过滤处理的是与大量文本相似的内容；Google 在检索侧把复述常识的内容称为大路货。两者不是同一套机制。下面是一个类比，不是任何一方文档的说法：它们指向同一类文本，用常见说法重写常见知识的页面，在训练侧容易被合并掉，在检索侧也缺少被单独采用的理由。

二是 fan-out 与变体页。fan-out 会把一个问题拆成若干相关查询分别检索，这很容易诱导人为每个子查询造一个页面。Google 把这种做法直接列为垃圾政策风险，同时说明不需要把内容拆成小块。与之对应的做法是：让一个页面在它覆盖的每个子问题上都有明确、可以单独理解的答案，而不是增加页面数量。

具体写法（问题前置、结论前置、实体明确等）在前文已有一份七条的框架，这里不再重复，只补充一项来自学术实验的方向性证据。GEO 论文（KDD 2024）在作者自建的生成式引擎上测试了多种改写方法。这个引擎取 Google 前 5 个结果，用 gpt-3.5-turbo 生成回答。结果是：加入引语、加入统计数据、引用来源三种方法，在「位置加权字数」指标上相对基线提升约 30–40%；关键词堆砌则低于基线（17.8 对 19.5）。在 Perplexity.ai 的 200 条查询子集上，加入引语在同一指标上提升约 22%。论文同时指出，有效的策略因领域而异。它能说明的是「在那个实验环境里，可核对的证据比关键词更有用」，不能当作任何商业引擎的排序规则。

优先级

把两条路径的结论合起来，可以排出下面的顺序。排序本身是本文的判断，「依据」一栏标明每一项依托的是文档原文、论文实验还是推断。

顺序	事项	依据
1	搜索类爬虫可以访问，重要页面可以被索引、可以带摘要展示	文档：Google AI 功能说明，OpenAI 与 Anthropic 爬虫文档
2	核对 CDN / WAF 是否误拦搜索类爬虫	由 Cloudflare 默认设置变更推出的建议
3	训练类爬虫按授权意愿单独决定	文档（OpenAI 写明两者独立）；Google 部分含推断
4	正文为主，提供非大路货信息	文档（Google 指南）；与训练侧过滤规则的对应是推断
5	关键结论配上数据、引语和出处	论文实验，属方向性证据
6	同一事实只在一处维护，并标明日期与版本	推断
7	争取真实的第三方提及，不买不造	文档（Google 对不真实提及的态度）；正面效果是推断
放后	追求进入训练、多站铺稿、批量变体页、把 llms.txt 当作提升手段	见上文各节

第 1–3 项：爬虫与索引

下表按厂商文档整理各爬虫的用途和退出后果。

爬虫 / 控制项	文档说明的用途	禁止或使用后的效果
GPTBot	让生成式 AI 基础模型更有用、更安全	内容不应被用于训练基础模型
OAI-SearchBot	在 ChatGPT 搜索功能中展示网站	不出现在 ChatGPT 搜索答案中，仍可能以导航链接出现
ChatGPT-User	用户在 ChatGPT 或自定义 GPT 中发起的操作	由用户发起，robots.txt 规则可能不适用
OAI-AdsBot	检查提交为 ChatGPT 广告的网页是否安全	收集的数据不用于训练基础模型
ClaudeBot	收集可能用于训练的网页内容	今后的内容被排除在训练数据集之外
Claude-SearchBot	提升搜索结果质量	不再为搜索索引内容，可能降低搜索可见度与准确度
Claude-User	用户向 Claude 提问时访问网站	回答时无法获取内容，可能降低用户主导搜索中的可见度
Google-Extended	Gemini 训练与 grounding	不影响 Google Search 收录与排名
`nosnippet`、`data-nosnippet`、`max-snippet`、`noindex`	限制内容在 AI Overviews / AI Mode 中的展示	按 Google 文档，这是控制这两项功能展示的方式

其他几点文档细节：OpenAI 说明 robots.txt 更新后，其搜索系统大约需要 24 小时调整；Anthropic 说明它的爬虫遵守 robots.txt，不会绕过验证码。

如果决定「允许检索、拒绝训练」，按上表可以写成下面这样（示例配置，用于说明写法，不代表推荐这种选择）：

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /admin/

示例里没有写 Google-Extended，原因是它同时管着 Gemini 的 grounding。按文档的描述，禁止它会影响内容在 Gemini 中被用作 grounding，要不要加，需要单独权衡。

本站的配置可以作为参照：robots.txt 对所有 User-agent 开放，只禁止 /admin/、/cms-auth/、/cms-api/ 三个后台路径。也就是说，训练类和检索类爬虫都被允许。

robots.txt 放行不等于爬虫真的能访问到页面。Cloudflare 在 2025 年 7 月 1 日的博客中宣布，把默认设置改为拦截 AI 爬虫（除非它们为内容付费），并推出按次抓取付费；这篇博客没有区分训练爬虫和搜索爬虫。由此可以得出一条建议：使用 CDN 或 WAF 的站点，应当确认安全设置没有误拦本想放行的搜索类爬虫。下文的日志检查可以发现这类问题。

第 4–6 项：内容本身

第 4 项在前面两节已经讨论过，这里只补充一点，它是按 PanGu-α 的清洗规则做的推断：「正文为主」不只是排版问题。核心事实如果只出现在图片、弹层或需要交互才能展开的组件里，抽出来的正文就可能过短，在类似的规则下整篇被删；在检索侧，这些事实也更难被抽取为证据。

第 5 项的依据是 GEO 论文，强度见上一节。

第 6 项完全来自推断，推理过程如下。训练语料有时间边界，模型参数里的版本可能已经过时；检索路径能纠正过时信息，前提是当前版本的页面能被检索到，而且站内没有另一个旧页面给出不同的说法。如果价格、版本或兼容性这类事实分散在多个 URL 上且互相矛盾，检索系统就可能把矛盾一起交给模型。对应的做法是：每个事实只在一个页面维护，其他页面链接过去；写明「截至某年某月」以及适用的版本，而不是写「目前」「新版」。下面是一个写法对比（虚构示例）：「新版支持更多导出格式」与「Acme 导出工具 3.2 版（2026 年 9 月发布）支持 CSV 和 Parquet 两种格式，单次导出上限 100 万行」。后者把主体、版本、时间和数值放进了同一句话，脱离上下文也能成立。

第 7 项：第三方提及

Google 文档对这一项给出的是反面信息：寻求不真实的提及并不像看起来那么有用，而操纵生成式 AI 回答属于垃圾政策的范围。正面的部分是推断：当检索结果里除了官网之外，还有独立来源给出一致的事实，模型可用的证据就不止一份。能做的事情是让真实的报道、评测和讨论有据可依，比如提供可以引用的原始数据和一个稳定的事实页面，而不是去制造提及。

放在后面的几项

追求进入训练语料：理由见「推到内容方身上」一节。多站铺稿：模糊去重会合并近似重复的文本。批量变体页：Google 已明确列入 scaled content abuse。把 llms.txt 当作提升手段：Google Search 会忽略它。本站根目录也有一份 llms.txt，但按 Google 的说明，它不会影响本站在 Google Search 中的表现。

测量：两条路径分开看

训练路径：基本不可测

一种能做的事是在关闭联网搜索的条件下，向模型询问与自己内容相关的问题，看参数里留下了什么。但这样得到的结果无法归因到某一个页面，也不能说明内容是在哪一步被过滤的。它最多能用来发现模型对某个主题的错误认知，属于诊断而不是指标，而且结果的稳定性没有经过验证。

检索路径：抓取、流量、引用三层

以下设计是根据前文的机制推出来的，没有经过实测验证。

抓取层看服务器日志。按 User-agent 把访问分成三组：训练类（GPTBot、ClaudeBot）、搜索类（OAI-SearchBot、Claude-SearchBot）、用户触发类（ChatGPT-User、Claude-User），然后分别统计重点 URL 的被访问情况。如果搜索类爬虫长期没有出现，而 robots.txt 已经放行，优先排查 CDN 和 WAF。User-agent 可以伪造，所以严肃的统计需要额外核验请求来源。

流量层看引荐。ChatGPT 会在引荐 URL 中自动加入 utm_source=chatgpt.com，可以直接在分析工具里筛选。Google 的指南提到，Search Console 提供衡量内容在 Search 与 Discover 生成式 AI 功能中表现的报告。需要注意，被引用不等于被点击，这一点在站内文章《网站没有消亡，消失的是旧的流量路径》里有展开；前文引用过的「幽灵引用」研究也说明，被引用的品牌未必出现在答案正文中。

引用层需要自己采样。具体做法是：固定一组与站点主题对应的真实问题，在固定的产品、语言和账号条件下定期提问，记录答案是否引用了本站、引用了哪个 URL、对本站内容的描述是否正确。回答会随时间、模型版本和索引变化，单次结果不足以下结论，所以每个问题需要在同一周期内重复多次。记录格式可以参考下表（虚构示例，数据为编造，仅用于说明字段）：

日期（虚构示例）	引擎	问题	重复次数	引用本站次数	被引 URL	描述正确
2026-10-01	引擎 A	问题 01	5	2	/zh/blog/xxx/	是
2026-10-01	引擎 A	问题 02	5	0	—	—
2026-10-01	引擎 B	问题 01	5	1	/zh/blog/yyy/	部分

每个指标都应当对应一个决策，否则不值得记录：

指标	计算方式	对应的决策
搜索类爬虫覆盖率	重点 URL 中被搜索类爬虫访问过的比例	是否排查 robots.txt、CDN 与 WAF
引用率	问题集的全部回答中，引用本站任一 URL 的比例	内容是否进入了证据集合
描述正确率	提及本站内容的回答中，描述正确的比例	是否修订或合并事实页
被引页面分布	引用集中在哪些 URL	内部链接与更新的优先顺序
AI 引荐访问	`utm_source=chatgpt.com` 与 Search Console 报告	被引用是否转化为访问

对照实验

如果要检验某种改写是否有效，可以采用配对设计：选出主题和现有表现相近的页面，两两配对，每对中只改写一篇，然后用同一组问题在同一周期内采样，比较两组引用率的变化。这套设计同样未经实测验证。它的主要干扰来自模型版本更新和索引变化，这两者会同时作用于两组页面，配对正是为了抵消这部分影响。GEO 论文中 30–40% 的提升是在自建引擎上测得的，这套设计能在商业引擎上测出什么结果，目前并不知道。

边界

证据范围限于 2026-10-09 能看到的公开文档和论文。厂商文档会更新，例如 Google 的生成式 AI 指南最后更新于 2026-07-10，垃圾政策最后更新于 2026-08-28，文中的结论以这些版本为准。
OpenAI 的《How ChatGPT and our foundation models are developed》和发布方 FAQ 两页，本文引用的内容经搜索结果摘录交叉确认，没有核对页面全文。
训练侧的披露只能说明「做了什么」，不能说明阈值和比例。闭源厂商没有公布完整流程；Gemma 3 是开放模型，它的数据构成不等于 Gemini 的完整数据构成；GPT-3（2020）和 PanGu-α（2021）是早期工作，不代表这两家当前模型的做法；Anthropic 的披露在不同模型之间也有差异。某一家的做法不能推广为所有模型的做法。
GEO 论文的结论来自它自己的实验环境，不等于任何商业引擎的排序公式。
本文没有涉及各 AI 搜索产品改写查询、排序和选择引用的内部细节，这些在公开材料中没有足够的披露。
「优先级」一节的排序以及第 6、7 项的正面效果，「测量」一节的全部方法，都是从公开机制推出来的，没有实验数据支持。本文也没有量化参数化知识在不联网回答中的作用，只说明了内容方难以对它施加影响。

写作说明：Claude Opus 5.5 起草、按核对结果修订并绘制示意图；作者决定发布。过程见实验记录。