企业官网建设流程全解析

合成数据能否持续带来收益：质量、覆盖度与分布退化

• 系列：大模型研究争议：从论文结论到证据边界
• 日期：2026-10-13

摘要：数据更多，为什么仍可能越学越窄？

模型能不断生成新题目、新答案，看起来像是解决了训练数据不足的问题。但一万种措辞可能只覆盖一种题型；筛掉错误答案后，剩下的也可能都是模型早已会做的题。数据量、单条质量与任务覆盖度，是三个不同的量。

本文对照递归训练、数据累积、局部编辑和指令筛选四条证据线。**当前证据支持：合成数据可以有用，保留原始信息和改变生成、筛选方式也能缓解部分退化；但一次提升、误差有界和持续获得新能力，不能互相替代。**论文并未形成“合成数据必然有害”与“无限生成必然有效”两个可直接对打的阵营。判断收益能否持续，需要先说明什么被保留、什么被替换、什么被测量。Shumailov等，2024；Gerstgrasser等，2024

先分清质量、覆盖度和“坍塌”

合成数据指模型生成或改写的训练材料。这里的质量是单条材料是否正确、清楚且适合学习；覆盖度是材料是否包含目标任务所需的领域、难度、结构和少见情形。“长尾”就是低频但仍可能重要的部分。质量好的一组样本，未必覆盖得广；罕见样本也未必正确。

模型坍塌（model collapse）通常描述模型反复学习生成材料时，逐渐偏离目标分布的现象。不过，各论文使用的操作定义不同：有的看分布尾部消失，有的看测试误差是否随代数无界增长，有的看留出题表现或技能变化。阅读时必须把名词换回指标，不能把“没有无界增长”读成“没有任何损失”。Shumailov等，定义2.1；Gerstgrasser等，§2、§3脚注3

本文把可能的解释分成三类。第一，信息保留：旧样本仍在，少见模式不必每次都靠重新采样才能留下。第二，学习效率改善：同样的信息被重新表达、清理或安排难度，更容易被学生模型利用。第三，测量范围收窄：常见题进步掩盖了少见题退步，平均分看起来仍然不错。三者可能同时发生，需要不同对照才能区分。

图：本篇整理的比较框架，并非任何单篇论文的原始流程。实线表示数据进入训练与独立评测的步骤；虚线表示可能继续生成下一轮候选的路径，不表示已证明的持续增益。原始数据保留多少、筛选依据是什么、是否引入外部答案，都应作为实验变量。留出测试没有回流箭头；图中没有测量数据。

从“递归替换”到“累积保留”，改变了什么？

递归训练确实有风险，但实验不是整个互联网

Shumailov等的Nature论文用简单分布模型解释：有限采样与拟合误差能在代际传递中累积。语言实验则是OPT-125m在WikiText-2上的递归微调，生成时使用束搜索。论文报告了退化，也报告保留部分原始数据时退化较轻。正式版，“Theoretical intuition”及“Model collapse in language models”，pp.756–759

这里有两道边界。首先，简单模型的无限代结论，不能直接变成现实大模型在哪一代失效的预测。其次，论文两组语言设置同时改变了原始数据保留与训练轮数，因此这组对照不能单独估计“只改变混合比例”的因果效应。它证明特定反馈流程存在风险，不能推出任何来源、任何筛选方式的合成文本都必然有害。

累积数据的反例，也不等于完整保留所有细节

Gerstgrasser等比较每代用新生成数据替换旧集，与保留旧集并追加新数据。语言实验从新初始化的小型GPT-2、Llama2架构训练，累积条件的测试交叉熵较稳定；交叉熵衡量模型对测试文本的预测损失。论文还做了扩大纯合成替换集的对照，该条件仍退化，说明观察不只是“数据条数变多”。§2.1、附录C表2的对照说明

**一个关键细节是：其语言实验的初始语料TinyStories本身由GPT-3.5/4生成。**这里更直接检验的是保留参考语料与代际累积的作用，不能把它写成“证明人类原文不可替代”。而且§2.3的图像实验仍报告细节多样性下降；§3的有界误差结论建立在线性模型中。维持总体误差与保住每个稀有模式，依然是不同命题。§2.1、§2.3、§3

因此，两项工作首先说明数据更新规则的重要性，而非得出了同条件下相反的结论。微调与从头训练、WikiText-2与TinyStories、固定数据量与逐代增长的数据量，都不相同。累计数据若每代完整训练，还会改变计算开销；没有匹配预算，不能声称找到了免费的长期改进。

生成得更“干净”，是否就覆盖得更全？

Zhu等把问题移到单轮预训练：使用不同占比的Dolma与Cosmopedia，在其混合实验中保持总训练文本量一致，观察到合成占比上升伴随总体评测退化。Cosmopedia来自特定教师和生成流程，Dolma也不是与它逐条配对的反事实版本。因此，这是两套具体语料及其配方的比较，不能把所有差异只归给“人写还是机器写”。ICML 2025；所读arXiv v3，§3.1、表1

该研究还用参考模型的困惑度与短词序列特征检查分布差异。困惑度可直观理解为模型对文本的意外程度；它依赖参考模型，不是通用的事实正确率，也不能直接当作知识覆盖地图。作者据此提出ToEdit：保留原文，优先重新采样高置信度位置的词元，即模型处理文本的基本单位，而不是整段自由生成。§3.2、§4.1

论文报告局部编辑在所测训练阶段改善了平均表现，但表中并非每项任务都上升；理论有界结果使用线性模型，不能保证任意编辑器长期无损。§4.2–4.3、表2–4 本篇据此提出的判断是：筛选只能重排或删除已有候选，不能凭空补出候选池中完全缺失的题型。把高分样本挑得更准，与让关键难例进入候选池，必须分别验证。

近期的正面结果：筛选有帮助，外部反馈也在场

2026年7月的KITE预印本先依据失败记录生成面向弱项的指令，再根据多次回答之间的语义不确定性筛选候选。各代保留累积数据，并从相同初始检查点重新微调；不是沿用上一代权重持续训练。作者报告主实验五轮后的优势，以及单个骨干模型延长至九代时逐渐趋缓的增益。Luo等，§3、§4.1–4.4

这条证据值得重视，但其含义比“模型可以无限自学”窄。所有方法都使用外部强模型核验和规范答案，因此比较的是给定答案渠道下怎样构造指令；标注预算相同也不代表候选生成、重复作答和筛选的总计算相同。作者还承认，弱项诊断依赖未经专家验证的技能标签，不能当作精确能力测量，且尚未完成KITE之后的逐技能重新诊断。§6、附录8.2–8.5

本篇进一步推断：共用一个核验器，并不排除它与不同候选题型产生不同交互收益。若要证明收益不依赖该外部渠道，仍需更换或移除核验器的对照。不能仅由平均分改善，就断言先前识别的所有弱项均已修复。

各行对应上文原文，不作横向数值排名。尤其不能拿预训练困惑度与指令任务正确率比较提升幅度；KITE部分基准还使用限定学科或抽样子集，并非都采用完整标准测试集。划分见附录8.2.2

怎样做一个能区分解释的后续实验？

下面是本篇提出、尚未执行的实验设计。选择一个可承受多轮训练的模型和有独立测试集的任务，先固定初始检查点、原始训练集、解码与答案评判规则，再比较三种数据流：只留本轮生成集、保留原始集并追加历史生成集、固定容量下分层保留原始与历史样本。第三组用于区分“保留信息”与“投入越来越多计算”。

每组再比较随机选择和质量筛选，保持最终训练词元预算一致，并单列生成、核验成本。如果能使用程序精确检验的任务，再交叉设置程序核验与模型核验。测试集始终封存，不用于寻找弱项；指导生成的诊断集另行划分。相同题目的近重复应在训练、诊断与测试之间排除。

评价至少同时看总体正确率、预先定义的稀有题型表现、跨轮次由对变错与由错变对的配对记录，以及覆盖度代理指标。代理指标应明确测量什么：题型标签覆盖比词汇变化更接近任务结构，但仍受标签体系限制。不能看到句子不重复，就认定能力变多。

如果累积组只在预算增长时占优，计算资源是竞争解释；如果质量筛选提高总分却损伤稀有题型，质量与覆盖发生了取舍；如果换核验器后收益明显变化，就应研究外部反馈与候选分布的交互。任何有限轮次的正面结果都只能支持该观察区间。应事先写明轮数与停止规则，并保存全部轮次，避免只展示最好的一代。

总结：持续收益需要持续检查信息从哪里来

合成数据研究最值得追问的，已经不是“模型生成的能不能用”，而是：新材料保留了哪些信息、补进了哪些结构、借用了什么外部判断，又遗漏了什么。已有证据支持研究这些条件，尚不足以给所有任务一个安全混合比例或永久增长配方。

对科研新人而言，一个更可检验的问题是：**在同样预算下，某种生成与筛选机制能否改善独立任务表现，同时保住预先指定的稀有能力？**把质量、覆盖与预算分别记录，正面结果才有清楚的适用边界，失败结果也才有可解释的价值。

参考资料

1. Ilia Shumailov、Zakhar Shumaylov、Yiren Zhao、Nicolas Papernot、Ross Anderson、Yarin Gal.AI models collapse when trained on recursively generated data. Nature, 2024. 正式页面；本次读取的作者机构存档PDF。另核验2025年作者更正，涉及理论段落的误差项符号；本文未复述该公式。
2. Matthias Gerstgrasser等.Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. 2024. arXiv版本记录；本次深读v2全文。会议页面本次受到访问验证限制，本文实验论断限定于已读版本，不把检索中的会议信息当作全文版本核验。
3. Xuekai Zhu等.How to Synthesize Text Data without Model Collapse?ICML, 2025. PMLR正式记录；本次深读arXiv v3。正式PDF本次未能读取，未假定其与v3逐字一致。
4. Xiaonan Luo、Yue Huang、Kehan Guo、Ping He、Chuan Zou、Ting Hua、Xiangliang Zhang.Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning. 2026. arXiv v1全文；版本与作者记录。本次仅确认预印本，未确认正式录用。