当前位置：首页 > 行业观察

合成数据成新战场：训练数据见顶，模型开始吃自己

xinhack3周前 (10-22)行业观察49

一、互联网语料河快见底了

过去训练大模型，主要原料是从公开网页抓来的文本。但到 2026 年，这条路开始堵。研究博客 MortalApps 在 2026 年的梳理里提到一个核心矛盾：公开网页里能用于训练的高质量文本基本被扫过几轮，而 AI 生成内容反过来污染了网络，导致越抓越脏。

Zero G Talent 2026 年 10 月的行业梳理给了一组更具体的数字：在头部五家前沿实验室，合成数据已经占到新增高质量训练 token 的约 68%，而 2022 年这一比例只有 9%；同期人类数据授权的占比从 28% 掉到 7%。换句话说，训练数据的增量，正在从买别人的变成自己造的。

二、模型不是简单吃自己

这里要澄清一个常见误解。网上讨论模型坍塌（Shumailov 等 2024 年 Nature 论文）时，常把用 AI 生成内容训练 AI 说成必然退化。但那篇论文的前提是无验证、无外部锚定、无多样性控制。

生产级做法不一样。MortalApps 的梳理指出，Meta 在 Llama 3.1 后用拒绝采样：让模型对每个问题生成 10 到 30 个候选回答，再用奖励模型只保留最好的那个；DeepSeek 的 R1 用基于数学和代码正确性的确定性规则做强化学习。关键不是自我循环，而是有验证器的自我循环——只有被验证过的输出才进训练集。

三、哪些领域最先跑通

验证器最强的地方，是答案有客观对错的地方。代码有编译器和单元测试，数学有 Lean 4 这类形式化证明助手，证明要么通过要么不通过。所以合成数据在代码和数学上最成熟，风险最低。

2026 年 9 月被 NeurIPS 2026 收录的 SYNTH 论文提供了一个开源对照：它用维基百科作为种子，反向生成结构化问答和推理链，仅用传统网页数据十分之一到一百四十分之一的 token 就训出了有竞争力的小模型，并且事实准确率更高。这说明从已验证的种子放大是一条可复制的路径，而不只是大厂的黑盒。

四、实体世界的墙还没翻过去

语言和数学能跑通，是因为有验证器；但机器人、自动驾驶这类具身任务缺验证器。Zero G Talent 的梳理指出，一个厨房里湿瓷砖上机械手会不会打滑，没法像数学题那样被形式化验证。所以前沿实验室在文本上转向合成数据，却在实体数据上卡住，开始花大价钱采集真实世界的第一视角视频。

这也解释了为什么 2026 年出现了一个约 49 亿美元的机器人数据市场：文本瓶颈破了，物理世界的瓶颈才刚露头。

五、对中小团队的含义

不必有前沿实验室的算力，也能用这个逻辑：

给种子，别给空白。用你手里经过核对的高质量材料（手册、标准答案、历史案例）做种子，而不是让模型凭空生成，能显著降低幻觉被放大的风险。
能验证的环节尽量自动验证。凡是能用规则、测试、对照表判断对错的，都先验证再入库。
警惕检索自污染。Druck 与 Smith 2026 年的 RAG Collapse 研究发现，当检索系统召回的内容本身也是 AI 写的，回答质量会下降。对外接资料做是否 AI 生成的粗筛，正在变成必要动作。