企业官网建设流程全解析

简介：《阿里研究院2024大模型训练数据白皮书》面向大模型研发、训练数据治理及AI产业政策研究者，系统梳理训练数据对大模型发展的支撑作用。内容从数据需求演变、语言模型与多模态模型的数据类型切入，辨析“依赖个人信息”“中文语料短缺”等常见误解，并讨论高质量数据的标准与评估不确定性。围绕训练数据供给不足，文件进一步介绍合成数据的定义、生成方法、分类及其在预训练和对齐中的作用，同时延伸至数据合规治理、中美训练数据生态比较、阿里巴巴集团实践，以及以开放务实方式提升高质量数据供给的思路。资源包共1个PDF文件，约11.93MB，目录按八大主题编排，便于按章节检索和引用。目前已有323人学习下载，适合需要快速建立大模型训练数据全景认知、整理汇报材料或开展专题研究的读者参考。

1. 大模型训练数据是什么：一份白皮书想讲清的那件事

有人问，大模型训练数据到底指什么。打个比方，模型像一个从没出过门的学生，算法是他的思维方式，算力是他能学多久，而训练数据就是他从小到大读过的所有书、看过的所有图、做过的所有题。他不背书，只在这些材料里反复找规律，最后学会接话、写文章、算题目。这份由某科技企业研究院整理的大模型训练数据白皮书，做的就是把这件听起来玄乎的事拆开讲：模型到底吃什么、什么算好料、料不够了怎么办、新造的料靠不靠谱。搞懂它，你看大模型的视角会从"它怎么什么都会"变成"它到底读了什么"，那些关于隐私、幻觉、中文语料够不够用的争论，也终于有了判断的落脚点。

2. 为什么数据成了最不可替代的变量：三大基石里最不显眼的那一个

算法、算力、数据常被叫作支撑大模型的三块基石，前两个经常上新闻，第三个最像后勤。可后勤一旦断供，前线立刻停摆。这一章要讲的是：数据为什么不是"越多越好"这种粗放问题，而是一套分阶段、分类型、分配比的精细供应体系。

2.1 三个训练阶段，吃的是三种完全不同的料

以常见的大语言模型为例，训练通常分三段走：预训练、监督微调、基于人类反馈的强化学习，后两段合起来叫"对齐"阶段。这三段对数据的要求差别极大，混为一谈是初学者最容易翻车的地方。

预训练阶段的语料特征是"广"。模型需要尽可能多的世界知识，网页、书籍、新闻、论文期刊、对话文本、代码都算。这一阶段是无监督学习，模型干的事本质上是在海量文本上做"下一个词概率预测"，读得越杂、覆盖面越宽，它脑子里关于客观世界的规律就越全。这个阶段的数据量级通常是万亿级 token 起步，谁家语料更广更干净，谁的底子就更厚。

监督微调阶段的语料特征是"齐"。做法是由标注人员设计问题、写出标准答案，把成对的"例题"喂给模型，希望它在没见过的任务上能举一反三。这一阶段的数据量比预训练小好几个数量级，但对准确性和一致性要求高得多——一道题的标准答案写歪了，模型学到的就是歪的。

强化学习阶段的目标是让模型的表达与人类偏好对齐。人类对模型的多个回答打分、排序，模型从中学会"怎么说更好"。这里的"数据"其实不是文本，而是人类偏好信号。

提示：很多人把"高质量数据"一律理解成干净的长文本，其实在对齐阶段，最有价值的"数据"是一份标注得足够细的人类偏好排序，颗粒度完全不同于预训练语料。

把这三段放在一起看就明白了：预训练决定模型"知道多少"，微调决定模型"会不会按要求做事"，对齐决定模型"说话得不得体"。三者用的料根本不是一类东西，所谓"数据不够了"，说的往往是其中某一段的某一种料不够。

还有第四种情况：如果模型要落到具体行业，比如工业、金融、医疗，就得用满足该场景专业需求的知识做进一步训练，这一阶段的语料特征是"专"，需要行业数据库、专业文档、专业网站这类有专业深度的材料。通用模型和行业模型的差距，很多时候不在参数，而在这一层"专"的料有没有。

2.2 "广"到底有多值钱：一份被反复引用的对照

有一组经常被引用的事实差距，能直观说明"数据决定上限"。某系列代表性大语言模型从第一代到第四代，网络架构的变化其实不大，变的是数据：第一代用约 4.8G 未过滤的原始数据训练，第二代换成约 40G 经人类过滤后的数据，第三代从约 45T 原始数据里过滤出约 570G 用于训练，而对话版本又在这个基础上加入了高质量的人类标注。架构基本同源，能力却是代际跃迁，中间那层变量就是数据的规模、质量和组织方式。

这也是为什么有学者提出，人工智能是"以数据为中心"而不是"以模型为中心"的——有标注的高质量数据才能释放出模型的价值，如果业界把更多精力放在数据质量上，进展会更快。这话有点反直觉，因为我们习惯把突破归功于新结构、新算法，但在大模型这个体量上，结构早已趋同，真正拉开距离的是后厨。

要注意一点：大模型需要的"数据"和搜索系统、推荐系统时代的数据不是一回事。后者重度依赖用户行为、偏好、点击记录这类行为数据，前者对知识性内容有强需求，是一种全新的数据类型。这个区别后面讲误区时会再展开，因为它是绝大多数误解的源头。

2.3 多模态模型不吃文字，吃"配对"

语言模型之外，另一条线是多模态。图像、视频、语音这些模态开始和语言模型融合，形成能同时理解多种信息形态的模型。这类模型的训练料和纯文本模型完全不同。

核心是"配对"数据。图像-文本对，指的是一张图加上一段描述这张图的文字，模型从中学的是像素之间怎么关联、文字和图怎么对应。视频-文本对则是一个短视频加一段描述视频里发生了什么的文字，模型不仅要看单帧画面，还要理解时间序列和动态变化。

打个比方，纯文本训练像是让模型读一万本小说，多模态训练像是给模型看一万本带插图的连环画，还得有人在旁边念旁白。缺了旁白，模型只认得像素，说不出画面里发生了什么；缺了画面，模型只认得词，脑子里没有对应的东西。

这个特征直接决定了一件事：多模态数据的获取难度远高于文本。文本可以从网上大规模抓取再清洗，图像和视频要配对、要授权、要标注，成本高出一个量级。这也是为什么后文讲合成数据时，多模态是最先被点名的受益领域。

2.4 从堆量到挑精：需求转向发生在什么时候

早期的大模型训练思路很朴素：能抓多少抓多少。但随着模型的无监督学习能力变强，数据需求快速从"量"转向"质"。原因不复杂——低质量语料的边际收益迅速衰减甚至为负。未经严格筛选的大量社交媒体对话、用户生成内容，塞进去不但不涨能力，还会带来事实性错误和重复偏见。

这就出现了一个分水岭：能被模型直接利用、能进一步提升关键能力、能让输出更符合人类习惯的高质量数据，成了最紧俏的资源。而这类数据主要来自人类的创造、制作和经验积累，规模、类型和质量受客观条件限制，不像网页那样可以无限爬。

3. 高质量数据为什么定不出统一标准：三重不确定性

几乎每份讲数据的材料都会说"要用高质量数据"，但真追问一句"什么叫高质量"，答案立刻含糊。这一章讲的就是这份白皮书里最有价值的一个判断：高质量不是一个可以前置写死的客观标准，它至少有三层不确定性。

3.1 第一重：需要什么类型的语料，由能力需求决定，而能力需求一直在变

回溯基础大模型这几年的演进，会发现"什么算高质量语料"这句话的内容一直在漂移。早期有个阶段，模型的目标是能生成连贯、有意义的对话，那会儿对话文本被视作最重要的高质量数据。技术路线往前推，大家发现通用的上下文理解才是关键，于是书籍和科研论文的地位上升，因为这类长文本能增强模型捕捉长距离依赖的能力。

再往后，追求通用能力时，衡量进展的北极星指标变成了推理。这时候两类语料被高度重视：一类是代码，因为代码里塞满了 If-Then-Else 这样的条件控制结构，天然训练逻辑；另一类是教材，因为教材里有详细、分步骤的数学推理过程，和逻辑链高度相关。

如果转到行业模型，语料类型更列不完。举个具体例子：经过人类标注的、由视觉相似图片构成的匹配对数据库，可以作为高质量数据用于广告场景的模型训练，帮它更好预测用户对素材的偏好；而收集人类驾驶员对稀有事件的应对数据，比如复杂路况、极端天气、异常行为的车辆，就能更好训练自动驾驶模型在各类场景下的处理能力。

提示：判断一份语料算不算高质量，先问它服务的是哪类能力，再问这个能力需求现在还在不在。脱离目标谈质量，等于脱离病症谈药效。

3.2 第二重：形态会演化，第三重：搭配会变

语料的"形态"也不是固定的。同一类数据，随着技术手段进步，能被榨出的价值会明显增加。

一方面，加工和改造能让原本用不上的原始数据变成可用。工业场景里，生产制造流程产生的原始记录往往是非自然语言的，可能是操作行为或时序数据，模型直接读不了。借助加工把它变成结构化信息，再和行业知识图谱、专家经验结合提炼成知识，最后用模型的推理能力做多样性拓展，这条路走下来，原来躺在数据库里没人用的数据就成了行业语料。

另一方面，模型能力变强也会反过来抬高对同类数据的要求。训练用的代码数据从"能执行单一任务"的片段，升级到"仓库级"的完整工程，模型学到的就从单个函数写法进化到整体架构理解；训练用的教材从中小学级别拓展到大学级别，复杂场景下的推理能力才跟得上。

第三重不确定性来自搭配。不同类型的数据对能力的提升各有侧重，不同来源的配比会直接影响模型的泛化能力和下游表现。这里面有两个关键动作：数据混合和数据课程。

数据混合是调不同来源的配比，并且可以在训练的不同阶段设不同配比，实际工程里靠反复试。有个常被引用的例子：在监督微调阶段，有研究者从问答社区里精选高赞语料，配合手工整理的问答对，凑出约一千条高质量微调数据，用"少而精"在对齐能力上拿到了很好的效果。这跟"数据越多越好"的直觉正好相反。

数据课程是调学习顺序。一般来说，按技能集合的顺序组织预训练语料，从基础技能走向目标技能，比一上来就死磕目标技能的语料库更有效。就像学数学，先通用再专门，比直接啃高数教材强。

下面是一段示意性的配比配置，只表达结构，不代表任何真实训练参数：

# 训练语料混合配比示意：不同阶段用不同配比 data_mix = { "pretrain": { # 预训练阶段：以广度为主 "web_clean": 0.55, # 清洗后的网页文本 "books": 0.15, # 长文本，训练长距离依赖 "papers": 0.10, # 论文，专业表达与推理 "code": 0.15, # 代码，训练条件控制与逻辑 "others": 0.05, }, "sft": { # 监督微调阶段：以对齐为主，总量小 "curated_qa": 0.70, # 人工整理的高质量问答对 "high_vote_qa": 0.30, # 社区高赞问答，需过滤 }, } # 数据课程示意：按技能从基础到专门排序 curriculum = ["general_text", "simple_reasoning", "code_snippet", "repo_level_code"]

这段配置要看的不是具体数字，而是两件事：一是不同阶段用的配比完全不同，二是配比是超参数，需要实验确定，没有通用最优解。实践中判断配比好坏，看的是下游任务表现和泛化能力，不是训练损失单指标。如果换了配比后训练损失下降但下游任务变差，通常意味着模型在过拟合某类语料。

3.3 同一类数据怎么评：质量、规模、多样性三把尺子

就算锁定了同一类语料，评估也得分三个维度看，而且三个维度都有坑。

质量维度上，最省事的判断方式是看来源。新闻、科研论文、开源代码项目里的内容，本身就经过了专业标准筛选，比如同行评审；常识性内容里，百科类站点经过一群专注编辑者的反复校对；对话内容则可以用用户的正向互动来间接反映质量，比如点赞数。多模态领域同理，有专业设计师筛选并标注过光照、构图、艺术性、美观性的图库，就能产出高质量的图像-文本对。

对没法从来源判断的语料，常见做法是训一个评估模型打分：先人工标注少量样本，定义可读性、帮助性、安全性等指标，用这批有代表性的样本训练评估模型，把人的标准转成机器能识别的特征，再拿它去给全部语料打分。

但还有一类语料，前面两种办法都不好使——行业领域语料。不同行业的专业知识缺少统一判断标准，只能在训练过程中反复检验质量高低。这就是为什么行业模型的语料建设格外慢，它没有捷径。

规模维度上，有个容易被忽略的反例。按大模型的"伸缩法则"，参数或计算量按比例扩大时性能也相应提升，参数变多就需要更多数据来配。但这不等于规模越大越好，真正要的是"高信息密度的语料规模越大越好"。有个经典对照：一个是约 400TB 的公共网页抓取数据集，包含数十亿网页，内容极广但未经清洗；另一个是对它做噪声过滤、去重等清洗后得到的约 305GB 版本。评估下来，基于清洗后那个小得多的数据集训练的模型，性能反而更好。清洗的价值和规模的天花板，在这一个对照里都说清了。

多样性维度上，有两个层面。社会层面涉及公平性，网络采集的信息对某些群体存在系统性不平衡，可能加剧偏见，需要审查和筛选来保证分布的广度与均衡。技术层面则和模型能力直接相关：真实世界里潜在风险场景的出现往往是偶然事件，与其把这类"不良信息"一概删掉，不如给它们打上安全标签保留下来，这样反而能提升模型对安全风险的识别能力。一味删除会让模型在真实环境里失去免疫力。

把三层放在一起，结论就出来了：所谓"高质量标准"，至多是对同类型数据在质量维度上的一种参考，它的标准取决于模型的应用目的，会因时而动、因人而异、因效而定。想在人还没开始训练之前就写死一套通用标准，把未来的高质量数据提前识别出来，这件事本身不成立。

4. 合成数据是怎么造出来的：训练语料里的"替身演员"

前面几章反复提到"高质量数据紧俏"，紧俏到什么程度？有机构估算，书籍、科研论文这类高质量语言数据集可能在近几年内就被用尽。真实数据不够，就得另想办法。这一章讲的就是目前最受关注的那条路。

4.1 先搞清楚：什么时候才轮到合成数据上场

合成数据不是"没数据时随便糊一点"。它的本质是借助算法和数学模型，先建模真实数据的分布，再在这个分布上采样，造出模拟了真实数据统计模式和关系的新数据集。通俗地说，它像数据的替身演员：某些镜头真人演不了、太贵、或者有风险，就让替身来完成，成片里看不出差别，但替身本人的保真度取决于选角和排练水平——如果生成过程设计不当，合成数据同样会缺少保真度，对客观世界的模拟出现偏差。

真正需要它的场景，是真实世界数据获取遇到困难，通常分三种情况。

第一种，现实中难以观测。罕见病、极端天气、复杂路况这类情况本身发生概率极低，等它自然出现再采集，成本不可控。合成数据可以按需设计出比真实数据集更广的情况，把这些边缘案例模拟出来，保证模型在处理少见输入时也有像样的表现，泛化能力就是这么练出来的。

第二种，获取成本太高。对齐训练需要大量高质量的人类反馈，人工标注既慢又贵。用合成数据可以把对齐流程自动化，几乎不需要人工逐条标注，成本能降下来，效率能提上去。

第三种，涉及个人信息甚至敏感信息。医疗健康、金融这类领域，真实数据本身就不能随便流转。合成数据可以借助差分隐私对个体信息"加噪声"等手段，模拟真实数据集的整体分布，而不复制其中任何一个人的真实信息，实现去标识化。这条路径的价值在于，它让"数据可用不可见"从口号变成了工程手段。

三种情况归纳下来，合成数据的优点是全面多样、经济高效、有利于隐私保护。这三条恰好对应真实数据的三个软肋。

4.2 两条生成路径：从真实分布采样，还是从规则与模拟器里造

按是否基于真实数据集，合成数据的生成方法分两大类。

第一类基于真实数据。做法是先建立模型捕捉真实数据的分布特性和结构特征，把数据中的多变量关系和相互作用刻画出来，再从模型里抽样生成。如果这个模型能很好地代表真实数据，造出来的合成数据就具备相似的统计特性。以大语言模型生成文本为例，它研究过海量人类写的文本，分析了词语之间的关系，建立了词与词如何组合的模型，生成时每个词的选择都取决于前文出现的统计概率。

第二类不依赖真实数据，靠现有模型或人类专业背景知识创建。现有模型可以是某个过程的统计模型，也可以是模拟模型；模拟可以通过游戏引擎等技术搭建。近期热门的文生视频模型就用到大量由游戏引擎合成的视频数据作为训练集，来提升生成质量。

按服务对象分，还可以分成两类用途：服务生成式模型的，往往是媒体合成数据，即由模型和算法合成的视频、图像、声音，以及自然语言处理中的文本合成数据；服务判别式模型的，比如分类、回归任务，通常是表格合成数据，形式上类似真实生活里的数据记录或表格。

注意：这两条路径的失败模式不同。基于真实数据的那条，偏差主要来自"建模没建准"，源数据里的偏见会被原样学走并放大；基于规则和模拟器的那条，偏差主要来自"世界建得不真"，物理规则或场景设计的简化会在模型里留下痕迹。

4.3 在预训练里当新物种，在对齐阶段当加速器

合成数据在大模型训练里扮演的角色，按阶段看差别很大。

预训练阶段，它现在占比不高，但潜力被普遍看好，属于值得盯着的"新物种"。主要有两个发挥空间。

一是多模态数据生成。文生视频模型用游戏引擎合成视频训练，是已经落地的例子；模拟器生成的多模态场景数据在机器人、自动驾驶、科学计算等方向的训练里也广泛使用。这类数据还有个独门优势：可以对罕见事件或灾难性事件做"过采样"，也就是随机复制少数样例来增大它们的规模，让模型在面对更广泛的输入时保持鲁棒。真实世界里你没法命令极端天气多来几次，模拟器里可以。随着模型从纯文字转向也从声音、图像、视频中学习，这类需求还会持续放大。

二是高价值领域知识的生成。这里的核心不是"造更多"，而是"把原来用不了的数据变成能用"。以工业制造为例，可以把生产、制造等工艺流程相关的原始数据，结合行业知识图谱，转化成模型能学的工业语料。这个过程分三步走，逻辑很清晰：

# 三步走：把工业原始数据变成模型可学的领域知识 # 第一步 Data -> Information # 非自然语言内容（操作行为、时序数据）转成模型可读的结构化信息 info = structurize(raw_process_data) # 产出：操作记录 # 第二步 Information -> Knowledge # 单条记录不是知识，要和知识图谱、专家经验结合 knowledge = fuse(info, industry_kg, expert_rules) # 例如："某温度区间内应当如何操作，收益是什么" # 第三步 知识泛化 # 用模型推理能力把单一知识拓展成多样化表述，积累语料 corpus = generalize(knowledge, llm)

三步里最容易做错的是第二步和第三步的边界。第二步必须由领域专家或知识图谱兜底，否则会产出一堆语法通顺但工艺上说不通的内容；第三步才是模型发挥的地方，把一条可靠知识扩写成多种问法、多种表述、多种难度的样本。如果跳过第二步直接让模型扩写，得到的就是标准的"垃圾进垃圾出"。

这条路的趋势判断是"精"——对语料质量要求高，而且不可或缺。原因在于模型只有在预训练阶段学过领域知识，后期用行业语料做微调时才能被激发出好效果。指望在微调阶段临时补课，通常补不进去。

对齐阶段，合成数据的角色更务实：加速器。传统对齐方法有三个卡点，一是数据获取成本高，二是人类评估的准确性和一致性有限，三是模型容易被训练成"回避敏感和有争议的问题"，整体效用被压低。

用合成数据能缓解这三点。典型做法叫"从人工智能反馈中进行强化学习"：先用一个较大规模的模型产出合成数据，生成指令及对应的输入输出样本，过滤掉无效或重复信息，自动化微调出一个性能不错的小模型，全程几乎不需要人类逐条标注。这条路既压低了标注成本，也缓解了"人工对齐导致模型对敏感问题一律拒答"的毛病。

在此基础上还有几种变体思路。自我对局的做法是让新一代模型尝试区分上一代模型的输出与真人的输出，在满足一定条件时用合成数据自我对抗微调，效果甚至优于纯人类反馈的路线。宪法式思路则是让系统在遵循预先设定的原则下，用模型自身生成的反馈和修正意见做自我改进，目标是得到一个既生成无害内容、又不靠回避来避险的模型。还有把人和机器反馈整合起来的路线，研究显示当机器协助人类做评估时，模型给出的批评意见能帮人发现自己可能漏掉的缺陷，反而提高了人类评估的准确性。

5. 五个最容易搞混的判断：训练数据的常见误区

这一章集中处理最容易混淆的地方。每一条都按"容易混在哪、为什么会混、怎么区分"的顺序讲。

5.1 误区一：训练大模型就是拿用户的聊天记录去训练

易混点：把生成式模型和过去的推荐系统、搜索系统当成同一类东西，认为它们都需要海量用户行为数据，于是顺理成章地以为聊天记录、个人画像会被喂进模型。

为什么混：因为上一代确实是这样。传统决策类人工智能在需求侧靠分析用户行为数据判断偏好，在供给侧提炼内容特征，再用推荐、排序把需求和内容匹配起来，还能根据行为反馈持续优化。个性化搜索就是典型：以用户使用记录、用户画像、内容画像为基础，提炼标签，抽象成特征向量，用向量空间距离算相似度，再匹配排名。习惯了这一套的人，很容易把同样的逻辑套到大模型上。

怎么区分：看训练目标完全不同。大模型是模拟人类思维活动去生成人能理解和使用的内容，训练数据基于世界知识，对语料库这类知识性内容有强需求，训练阶段并不依赖个人信息。为保证输出与人类价值观一致，业界用强化学习配合人工标注来优化表达，靠的是偏好信号，不是你的身份信息。有个第三方测评显示，超过六成受访者把"盗取、泄露个人隐私数据"误选为大模型最主要的风险点。事实恰恰相反：过量的个人数据会负面影响模型能力，过于个性化的应用还会加重运算负担。主流大模型在训练阶段不过度收集个人信息，也允许用户控制和删除自己的对话记录。

需要分清的是推理阶段和训练阶段。推理时如果被恶意诱导，即便有安全机制也不能完全排除信息泄露，这是交互层面的风险，和"训练时把你的数据吃进去"是两件事。搞混这一点，就会把使用风险误判成训练机制问题。

5.2 误区二：中文语料占比低，所以中文大模型注定落后

易混点：看到一个悬殊的比例——全球网站里英文约占六成，中文约占百分之一——就下结论说中文语料供给短缺是决定性的瓶颈。

为什么混：数字本身是真的，推理跳过了一步。规模差异确实存在，但"规模是否决定性"是另一个问题，需要单独验证。

怎么区分：实践中发现规模并不是决定性因素，原因有两条。一是世界知识的积累里，很大一部分属于客观事实，用哪种语言表达原理一致，在机器翻译质量有保障的前提下，这部分中文语料的缺口可以被弥补。二是训练技术上有新办法，比如合理安排不同语言类型的训练顺序，也能让模型学到供给相对较少的语言的丰富特征。

但有一类中文语料确实重要又短缺：反映本地文化背景与价值取向的语料。原因在于大模型是概率分布模型，数据来源的分布会塑造出与之相似的人类意志倾向。想让模型真正理解特定文化语境下的表达习惯和价值取向，就得在训练里加入相应语料。这类缺口没法靠机器翻译补，因为翻译质量再好也会引入源语言的偏见，体现的仍是源语言的价值观。文言文、古汉语、电子书籍这类反映传统文化的内容，以及能体现本地价值取向的规范内容，都可以算作这类高质量语料。而这条链路从积累、数字化，到开放共享与开发利用，再到训练过程中的算法与编码建设，都还需要持续投入。

所以准确的判断是：量的短缺有解法，这类反映文化价值取向的语料短缺才是真正的短板。把两者混成一句"中文语料不行"，既低估了解法，也错过了真问题。

5.3 误区三：数据规模越大，模型就越强

易混点：把"伸缩法则"理解成数据越多越好，于是不计成本地扩语料。

为什么混：伸缩法则确实说了参数或计算量按比例扩大时性能相应提升，参数变多也需要更多数据来配。这条规律容易被简化成单向的"多即是好"。

怎么区分：要看的是信息密度而非原始体积。前一章那个 400TB 未清洗网页数据集和 305GB 清洗后数据集的对照已经说明问题——小的那个训出来的模型更好。低质量语料不只是"没用"，是"有害"：错误数据会让模型记住有偏差的信息，产生事实性错误；重复语料会让模型对特定类型的示例产生偏见，降低输出多样性，能力显著下降。这也是"垃圾进垃圾出"在大模型时代最直白的体现。扩充语料之前先问一句：这批数据清洗过吗、去过重吗、错误修正了吗，比问"还能不能再抓十亿条"有用得多。

5.4 误区四：数据够干净，模型就不会胡说八道

易混点：把幻觉当成数据质量问题，认为只要语料真实、准确、客观、多样，模型就不会一本正经地胡说。

为什么混：因为大量低质量数据确实会导致事实性错误，于是很容易反推"高质量就等于零错误"。

怎么区分：大模型的本质是概率模型，做的是基于前文预测下一个词出现的概率。这种"词语接龙"式的生成，下一个词并不是百分之百确定的。哪怕训练各阶段的语料都满足真实性、准确性、客观性、多样性的要求，也只能大幅降低幻觉发生的概率，无法归零。高质量数据的作用是抬高底线、压低概率，它不是消除随机性的开关。理解这一点，对使用预期很关键：面对模型输出，正确的姿态是"它可能错，我需要核"，而不是"它读过好书，所以它说的都对"。

5.5 误区五：合成数据可以完全替代真实数据

易混点：既然真实数据快用完了，合成数据又便宜又能按需定制，那就全靠它。

为什么混：因为合成数据在部分场景表现亮眼，尤其在对齐阶段几乎是降本利器，容易让人以为它在所有阶段都能顶上。

怎么区分：分阶段看占比和定位。预训练阶段，合成数据目前占比不高，定位是"新物种"，价值在多模态数据生成和领域知识转化这两个方向，是补充和拓展，不是主力替换。对齐阶段，它确实是加速器，能大幅提升数据获取效率，但它的质量上限受生成它的模型和规则约束。更根本的风险在于：如果生成过程存在偏差或噪声，合成数据的质量和真实性就无法完全模拟客观世界；如果陷入"模型自己产生数据再训练自己"的循环，初始偏差会被不断放大。所以现阶段的共识是在发展中治理，用起来，同时盯着偏差。把它当成"解决供给不足的一种新方案"是准确的，把它当成"真实数据的完全替代品"就过头了。

6. 什么时候用得上、什么时候别硬套：一份判断清单

把前面几章压缩成可操作的判断，大概是这么一张表。它的用途不是让你照着做训练，而是让你在听到"高质量数据""合成数据""语料不够"这些说法时，能快速定位对方在讲哪一层。

真正需要提醒的是边界感。合成数据在"真实世界难观测"的场景里几乎是唯一解，比如极端路况、罕见病例这类边缘案例的覆盖，靠等是等不来的；但如果是想靠它解决"模型不懂某个行业的专业规范"，就得先有行业知识图谱和专家经验做底，否则造出来的只是通顺的废话。同理，高质量语料的清洗在预训练阶段收益明确，但如果你的模型已经卡在指令遵从不行，继续堆预训练语料就是方向错了——那是微调数据的问题。

我自己踩过一次典型的坑：早期看到一个模型在某类任务上表现差，第一反应是"语料不够，再去抓一批"。折腾了两周，语料翻了一倍，指标几乎没动。后来逐段拆开看，问题出在微调阶段的问答对质量参差，标准答案本身就写得含糊，模型学得自然含糊。从那以后我每次判断数据问题，都强制走一遍"先定位阶段、再定位类型、最后才谈规模"的顺序，宁可多花半天拆解，也不上来就扩量。这份白皮书值得留着的地方也在这里——它把每个环节的不确定性都摊开讲了，包括哪些问题现在还没有答案。希望帮到你。

完整的大模型训练数据白皮书资料已经整理好，需要的可以按页面提示获取。

本文还有配套的精品资源，点击获取