企业官网建设流程全解析

大模型圈子里有一句话流传很广：参数决定模型的上限，数据决定模型的下限。而“预训练数据准备”这个环节，恰恰是最像“炼金术”的部分——把互联网上那些脏乱差、重复冗余、充满噪声的原始文本，一步步提纯成能喂给模型的好“口粮”。这个过程中没有太多惊天动地的算法创新，更多是工程上的死磕、细节上的较真，以及对数据本身的深刻理解。这篇文章我想把预训练数据准备的全流程完整梳理一遍：从语料采集、清洗过滤、去重去噪，到词元化、配比策略和工程落地，把我实操中积累的方法、参数和经验教训都摊开来讲。无论你是刚接触大模型训练的新手，还是已经跑过几次预训练、想系统优化数据管线的工程师，这篇文章都值得花几分钟读完。

1. 数据准备到底在解决什么问题

1.1 为什么“垃圾进，垃圾出”在大模型时代更加致命

传统机器学习时代，数据质量当然也很重要，但问题通常被限定在“标注质量”和“特征质量”这两个维度。到了大模型预训练这里，情况完全不同：模型一口气要吞下几万亿个词元，没有人能逐条审核这些数据，也没有人能在训练完成后轻松定位是哪几条坏数据污染了模型。

我见过不少团队，模型架构、并行策略、学习率调度都调得很精细，唯独数据侧很粗糙——直接把网上扒下来的语料做简单清洗就开训。结果训练到中途，loss曲线开始异常震荡，生成内容出现大量乱码、猥琐重复、甚至个人隐私信息。最后排查下来，根因全部指向数据：要么是解析模板没处理干净导致大量残缺文本，要么是重复语料占比过高导致模型疯狂背诵，要么是隐私信息过滤不到位导致模型“记住”了不该记住的东西。

大模型的数据问题还有一个可怕的特性：延迟暴露。训练初期你根本看不出来，等训到几十万步才发现效果不对，这时候再回头改数据、重新训练，算力成本已经烧掉了。所以数据准备这件事，本质上是在用前期的“枯燥工程”换取后期的“确定性”。它不值得炫技，但绝对值得投入。

1.2 数据准备本质上是三道矛盾的平衡

做了几年数据处理，我越来越觉得，所谓数据准备全流程，其实是在持续平衡三组矛盾：

第一组是规模与质量。预训练需要海量数据，但海量往往意味着质量参差不齐。你不可能只保留精品语料——那会让模型缺乏多样性和广度。你也不能照单全收——噪声太多模型根本学不到稳定规律。所以整个管线要做的不是“选优”或“去劣”二选一，而是分层次地控制“劣质数据”的占比。

第二组是多样性与内聚性。数据太杂，模型会学到一堆零碎知识但形不成连贯能力；数据太纯，模型又容易过拟合某个领域，泛化能力差。这个矛盾在配比阶段体现得最明显：网页语料、书籍、论文、代码、多语种数据，怎么配才能既广博又深入，是每个团队都要反复试验的核心问题。

第三组是成本与效果。数据处理的每个环节都有算力成本：质量打分需要跑模型推理，去重需要大规模哈希计算，隐私过滤需要跑规则和分类器。这些成本加到一块，不比训练本身便宜太多。但你又不能省——省掉的每一分钱，都可能以更贵的训练无效为代价还回来。我见过一个团队为了省推理成本，把质量打分器的阈值调得特别松，结果模型效果明显下滑，重启训练多花了三倍的钱。账怎么算都不划算。

理解了这三组矛盾，再看下面每一步操作，你就能明白为什么“这个环节非做不可”，而不是机械地执行一套流水线。

2. 上游水源：语料采集与来源盘点

2.1 五类核心语料的“脾气”

预训练语料来源五花八门，但归纳起来不外乎几大类，每一类都有自己的优势和坑。

第一类是网页爬虫语料。它是绝大多数预训练模型的基础数据源，规模最大、覆盖面最广，包含了各种日常表达、常识知识和实时信息。但它的质量波动也最剧烈：有排版工整的高质量博客，也有机器生成的垃圾页面、采集站互相抄袭的重复内容、夹杂广告和导航栏的碎片文本。处理网页语料，清洗和去重的压力最大，通常原始数据经过全流程之后，真正能进训练集的比例只有两三成。

第二类是百科类结构化语料。覆盖面广、表述规范、事实密度高，是模型获取世界知识的重要来源。但它的问题是“内聚性太强”——语言风格高度模板化，如果占比过高，模型生成的内容会带着一股“百科腔”，显得生硬教条。

第三类是书籍与论文类长文本语料。它们提供了长篇连贯推理的范本，对模型长文本建模能力帮助极大。但这类数据往往受版权保护，获取和使用都有合规风险，而且量级相对有限，撑不起大规模预训练，只能作为占比不高的“精料”。

第四类是代码语料。代码是逻辑严密的结构化文本，对模型推理能力的提升有奇效。但代码语料有自己的问题：注释和文档质量参差不齐，缩进和换行规则与自然语言不同，如果清洗时不小心破坏了代码结构，反而会教坏模型。

第五类是垂域与多语种语料，包括专业论坛、医疗法律等垂直领域文本，以及非英文语种内容。这类语料决定了模型的“长板”和“覆盖面”，通常是按需定制采集，目标明确但成本较高。

我把这五类语料的定位总结成一句话：网页定广度，书籍论文定深度，代码定逻辑，百科定事实，垂域定特色。理解了这个分工，配比阶段就不会犯方向性错误。

2.2 抓取、解析与合规的几个前车之鉴

语料采集阶段最常见的错误，不是来源选错，而是抓取和解析环节的粗心。

我踩过最典型的坑是网页解析模板失效。某些网站上线的页面为了适配移动端改版，原有的正文提取规则全部失效，抓回来的页面只剩一堆导航栏和版权信息。这类问题最阴险的地方在于：它不是直接报错，而是默默产出大量残缺文本，混在正常语料里流向下游，甚至可能因为文本很短、很“干净”，反而通过了后续的质量过滤。所以采集阶段一定要保留原始HTML，并且在解析之后抽样人工检查，每个来源站点都要有一个“最近一批数据质量”的可视化看板。

另一个容易犯的错是不做增量抓取控制。同一个站点反复全量抓取，会导致新增语料里大量内容是之前已有数据的变体，直接推高后续去重的压力。我通常会按站点维度记录抓取快照，用内容哈希做增量识别，新页面才进入下游。

合规问题同样不能忽视。版权语料不是不能用，而是要谨慎用，特别是书籍和论文这类受保护内容。实际操作中，要么只使用明确授权或开放许可的语料，要么对受保护内容做严格的量级控制，并保留完整的来源溯源信息。这里多说一句：合规不是法务部门单方面的事，数据工程师至少要清楚每条数据来自哪里、许可协议是什么、能不能用于商用模型训练。出了问题，背锅的首先是数据管线的负责人。

3. 粗加工：清洗、过滤、去重三板斧

3.1 最容易被低估的规则清洗

很多人以为规则清洗就是“正则表达式删掉HTML标签”，实际上这里的门道比想象中多得多。我把规则清洗分成五个层次，层层递进：

第一步是编码层清洗。原始语料里充斥着乱码、非法Unicode字符、控制字符、全半角混用。比如某些网页把中文标点存成了英文标点，某些爬虫把二进制内容当文本解析出一堆“锟斤拷”。这个层次的目标是恢复可读文本的基本形态。

第二步是结构层清洗。去掉HTML标签、CSS样式、JavaScript代码、页眉页脚、广告标记、图片链接说明等非正文内容。这一层最考验解析能力，也是我前面说的那个坑的重灾区。

第三步是格式层清洗。统一换行符，合并多余空格和空行，处理异常缩进，把全角符号转为半角。这些看起来琐碎，但直接影响后续的词元化效率和模型学到的格式规律。

第四步是噪声层清除。去除重复出现的签名、追更提示、链接串、时间戳、乱码片段。这里常见的骚操作是统计高频n-gram，把那些在文档中反复出现、但与主旨无关的片段揪出来。

第五步是长度过滤。太短的文本没有学习价值，通常小于50个字符的片段直接丢弃；太长的文本可能存在拼接错误，需要做截断或拆分。长度阈值要根据语料类型分别设置，不能一刀切。

团队里经常有人问：“这些规则能不能用一个大模型自动搞定？”我的回答是：大模型可以做语义层面的质量判断，但精确到字符级别的规则清洗，用确定性规则更快、更便宜、更可控。规则清洗和大模型打分是配合关系，不是替代关系。

3.2 质量打分器的设计思路

规则清洗解决的是“脏”的问题，质量打分解决的是“差”的问题。差数据不一定脏，它可能语法完整、格式规范，但内容空洞、逻辑混乱，或者整篇是废话。

目前业界最主流的做法是用一个轻量级分类器给语料文本打分。具体做法是：先人工标注一批“高质量”和“低质量”样本，训练一个二分类模型，然后对全量语料做推理打分，设定阈值决定去留。这个分类器的输入是文本本身，可以配合困惑度（PPL）一起使用。困惑度低的文本通常是自然流畅的，但机器生成的废话文本困惑度也可能很低，所以必须分类器和困惑度两个信号一起判断。

这里有个实测下来的经验：质量打分模型的训练数据不要只来自单一渠道，要覆盖所有上游来源的样本。否则打分模型会对某种风格的语料有偏见——比如只见过“新闻体”高质量样本，就会把所有口语化文本都打低分，导致语料多样性受损。

业界的通用做法是设置“多级阈值”而不是单一阈值。高阈值部分直接进训练集，中阈值部分降权使用或作为补充，低阈值部分直接丢弃。这种做法比“一刀切”更细致，保留了很多有用但不够“完美”的数据。实测下来，合理的保留率通常需要结合具体训练目标来定，没有一个万能数字。我的经验是用一个更宽的口径跑通全流程，再结合小规模训练实验来标定阈值。

3.3 多层级去重：从精确到语义

去重是数据准备里最“损人不利己”的环节——它不会让数据看起来更好看，只会默默降低训练成本、提升模型多样性，防止模型变成“复读机”。重复数据在预训练里的危害，怎么强调都不过分：模型会把大量参数学记忆重复片段，导致生成内容趋同、泛化能力下降，还会让loss曲线异常得“好看”——因为重复数据太好拟合了。

去重要分层做。第一层是文档级精确去重，做法简单直接：对整篇文档做哈希，或者对文档内采样出来的n-gram集做哈希，相同哈希直接剔除。这个办法只能去掉完全相同的重复，挡不住“改几个字”的近似重复。

第二层是文档级近似去重，主流工具是SimHash和MinHash配合LSH。SimHash的思想是把文档映射成一个64位的指纹，指纹之间汉明距离越小，文档越相似，一般设定汉明距离小于等于3就判定为近似重复。MinHash则更擅长处理“部分内容重叠”的重复，它抽取多组n-gram集合做最小哈希签名，再用LSH分桶找出候选重复对。我在实际项目中通常两层都跑：先用SimHash做粗筛，再用MinHash做细查，计算量可控，召回率也够。

第三层是更细粒度的内容级去重。一个文档里可能只有一段话是抄袭的，整篇不算重复。这种场景要在段落或句子级别做重复检测，去掉重复片段，保留非重复部分。这个环节计算量最大，但对提升语料多样性帮助显著。

去重的时间点也有讲究。规则清洗之后就可以做精确去重，因为这时候文本格式相对统一；近似去重要放在质量过滤之后，因为质量过滤会删掉一部分文档，提前去重等于白跑。层级顺序对了，能省不少算力。

3.4 隐私与有害内容：这块宁可错杀

隐私过滤不是“可选项”，而是“必答题”。预训练语料里经常夹带真实个人信息：邮箱、手机号、身份证号、家庭住址、银行卡号等。模型一旦学到这些内容，推理时就可能原样“背诵”出来，轻则泄露隐私，重则直接违法。

处理思路分两层。第一层是规则层，用正则表达式识别和脱敏常见的个人信息模式。这里有个需要反复斟酌的细节：直接把命中规则的整段内容删掉，还是只把命中的实体替换成占位符？我倾向于后者，因为整段删除会撕裂语义上下文，而实体脱敏能保留文本结构。当然，对于身份证号这类强标识信息，整段删除更稳妥。

第二层是模型层，用一个分类器识别“包含个人信息倾向”的文档。有些隐私信息藏在上下文里，比如一段描述“某人住在哪个小区、在哪上班、孩子在哪上学”的文本，规则很难命中，但分类器可以从语义上识别出来。这类文档直接整篇剔除。

有害内容过滤（暴力、色情、仇恨言论、诱导自残等）的思路也类似，规则加分类器双管齐下，并且要按语料来源差异化配置阈值。社区类语料的有害内容密度远高于百科类，按来源统一过滤很容易误伤或漏判。我在实践中会为每个来源设置独立的过滤强度参数，并在定期抽检中持续校准。

4. 细调配：词元化与语料配比

4.1 词元化：模型的“咀嚼方式”

词元化决定了模型是怎么“咀嚼”文本的，它直接影响训练效率和最终效果。很多团队不重视词元化，直接拿现成的开源词元器就来用，结果中文语料的压缩率很差——同一个意思，别人用1.5个词元，你要用2.5个词元，训练成本凭空高出六成。

核心指标是“每词元承载的信息量”，通俗说就是语料经过词元化之后总词元数越少越好。对于中文语料，字节级BPE类的词元器通常表现不错，但前提是训练词元器的时候要喂足量的中文语料。如果词元器的训练数据以英文为主，中文在词表里只能分到很小份额，切分效率自然难看。

我这里有两条实测建议。第一，词元器的训练语料要把中文比例显著提高，至少要超过总语料的四分之一，才能保证常用汉字和常见词组的覆盖。第二，做完词元化之后一定要检查“词元覆盖分布”，看看是否大量汉字被切成单字或罕见片段。如果“的”“了”“是”这种高频词都被切成两个词元，说明词表或合并规则有问题，趁早修正，别拖到训练开始后。

词元化还会悄悄影响配比。同样一段文本，用不同词元器切出来的词元数差异能达到两倍，这意味着如果你用词元数去控制各语料占比，换词元器之后配比其实已经变了。所以配比一定要基于最终的词元数来算，而不是基于原始字节数或文本行数。

4.2 配比策略：一份讲究的“营养餐单”

配比是数据准备里最像“炼金术”的环节，也是我花时间最多、踩坑最深的环节。配比没有标准答案，它极度依赖你的模型定位和数据源质量，但有一些经过验证的规律可以分享。

常见的误区是让各种来源“平等参与”，或者让数据量大的来源自然占据主导。这样做出来的模型，往往被网页语料带偏，知识面广但深度不足，代码能力等于零，长篇连贯思维更是一塌糊涂。

合理的做法是“高层级语料超比例加权”。什么意思？一本书对模型能力的贡献，远大于几十篇普通网页文章。所以书籍、论文、代码这类高质量语料，在总量中的占比通常要显著高于它们在原始数据里的自然比例，通过重复采样（上采样）或者加权的方式提高曝光次数。

举个例子。假设原始语料里网页占95%，书籍占3%，代码占2%。如果直接按原始比例训练，模型几乎学不到代码和长文本推理能力。一个典型的中文底座模型配比可能调整成：网页60%，书籍12%，代码15%，百科8%，其他垂域5%。注意，网页被压下去了，代码被抬上来了，哪怕代码原始数据量只有网页的几十分之一。

但我必须强调：上面的数字只是举例，不是标准。真正的配比要靠小规模实验来调。我的做法是先用一个小一号的模型和削减后的语料跑几十轮，对比不同配比在标准评测集上的表现，快速筛选出几个候选配比，再放大到大模型上验证。这个过程能为你省下大量的训练成本。

4.3 课程学习、上采样与样本权重

配比确定之后，还有三层“调味”手法值得掌握。

第一层是课程学习。简单说就是训练前期多喂高质量、结构清晰的语料，后期再逐步引入更杂、更难的语料。这符合人类学习规律：先读教材，再读论坛。实操中不一定要做复杂的动态调度，一个简单的做法是分阶段调整采样分布：前期代码和书籍占比较高，中后期逐步提高网页和垂域数据比例。我实测过，这种简单版本已经能明显提升训练的稳定性。

第二层是重复上采样的边界控制。对高质量语料做过高倍数的重复采样，会让模型对这部分语料“过度记忆”，导致过拟合和多样性下降。一般单个文档的重复曝光次数控制在2到5次之间比较稳妥，超过8次就要警惕。判断是否过拟合，可以观察训练后期这些上采样语料子集的loss是否降到了不正常的低值。

第三层是样本级别的降权。不是说要么全留要么全丢，而是可以对中等质量文本乘以一个0.1到0.5的采样权重，让它“偶尔被看到但不主导”。这个手法在平衡语料多样性时特别好用，能保留大量有价值但不完美的语料，同时不让它们喧宾夺主。

5. 工程落地：一套可复现的数据流水线

5.1 存储与计算的选型逻辑

同样的数据处理逻辑，用不同工程架构实现，成本能差出好几倍。选型逻辑要围绕“数据规模”和“迭代速度”两个维度展开。

存储侧，原始语料一般是海量小文件，直接存分布式文件系统没问题，但小文件太多会导致读取性能急剧下降。我的做法是先把原始语料按来源、按时间周期打包成统一格式的分片文件，每个分片控制在百兆到吉字节级别，下游任务读取时就友好很多。中间产物（清洗后、去重后、过滤后）也要保存，而且要保留“哪个原始文件对应哪批中间产物”的溯源信息，否则出了问题想回溯都不知道去哪查。

计算侧，数据流水线是典型的批处理负载，优先考虑吞吐量和稳定性。业界常用的分布式计算引擎都能胜任，关键是任务编排要设计好。一个常见错误是把整个流水线写成一个巨大的单任务脚本，跑挂了要从头再来。更合理的做法是拆分成多个阶段任务，每个阶段产出中间结果，用调度系统串联依赖、支持失败重试。这样任何一个环节挂了，只需要重跑那一段。

5.2 流水线的关键模块与断点续跑

我梳理一下标准流水线的模块划分，按顺序排是这样的：原始解析、规则清洗、质量打分、精确去重、近似去重、隐私/有害过滤、词元化、配比采样、打包输出。每个模块之间通过中间数据文件解耦。

断点续跑是流水线设计的生命线。数据处理任务跑在分布式集群上，节点故障、网络抖动、磁盘写满都是家常便饭。如果任务不支持断点续跑，一次跑48小时的任务中途挂了，恢复正常后只能从头再跑，这谁都受不了。实现上要做两件事：一是每个模块的输出都要写入“成功标记”，调度系统根据标记判断是否重跑；二是模块内部处理数据时按分片做幂等，同一个分片重复处理不会造成重复写入。

还有一个容易被忽略的细节：随机性控制。质量打分模型、去重采样、配比采样这些环节都会涉及随机过程。如果随机种子不固定，同一份输入数据每次跑出来的结果都可能不一样，这对后续A/B对比实验是灾难。流水线里所有随机操作的种子必须显式固定，并且在元信息里记录。

5.3 质检闭环：让数据问题在训练前爆炸

数据问题最好在训练前“爆炸”，而不是训练中“暴雷”。所以要建立质检闭环，每个环节都要有自动化的质量报告和人工抽检机制。

自动质检至少包括这些指标：每个来源的文档数变化、清洗丢弃率、去重命中率、质量过滤后的保留率、词元化后的总词元数、隐私命中件数、语种分布、长度分布。这些指标每天或每批次生成报告，任何一个指标出现异常波动，就要及时告警。

人工抽检则要覆盖“每个模块的输入输出”。我在团队里定了一条规矩：任何一次数据处理流程，必须有专人针对清洗前后、去重前后、过滤前后的样本做对照抽检，每次抽检不少于200条，记录问题类型和严重程度。这个做法看似笨拙，但实实在在救过我们好几次——有好几次都是机器指标一切正常，但人工抽检发现某个来源的解析器又开始吐垃圾数据了。

质检的最终闭环形态，是用一小份经过完整处理的语料，跑一次小规模训练实验，把结果和已知基线对比。这一步相当于“试菜”，确认整条流水线没有系统性问题之后，才敢把全量数据喂给大模型。

6. 常见问题与排查实录

6.1 训练曲线异常，先把怀疑的目光投向数据

训练曲线异常的表现千奇百怪：loss突然飙升、下降曲线出现平台跳崖、验证集效果和训练集效果严重背离。很多团队第一时间去调学习率、调模型结构，动辄浪费一周时间。

按我的经验，排查顺序一定先从数据开始。第一步看数据报告：最近一批次的数据有没有异常？去重率是不是突然降低了？质量打分的平均分是不是下滑了？第二步看样本：随机抽取训练batch里的实际文本，肉眼看一下有没有乱码、格式破坏、异常重复。第三步做数据回放：用出问题的那段训练步数，定位到对应批次的数据来源，检查上游模块产出的这个分片到底干了什么。

我印象最深的一次排查，是训练到中期loss持续居高不下。查了一圈，发现问题出在一个上游解析模块：某个新闻站点的页面结构改版，解析器把正文里所有的引号都吞掉了，导致大量文本变成“他说 今天天气真好 我们一起走吧”这种没标点的连续文本。模型被迫去拟合这种残缺表达，loss自然降不下来。如果不是按“先数据后模型”的顺序排查，这个问题的定位周期至少翻三倍。

6.2 重复数据与测试集污染的隐蔽现场

重复数据的排查是另一个重灾区。我处理过一种非常隐蔽的重复：不是整篇重复，而是“同源变体”——同一个新闻事件被几十家网站改写转载，每篇的措辞都有细微差异。按文档级别的SimHash去重，汉明距离可能正好超过阈值，全部漏网。结果模型对这件事的学习过度充分，生成相关内容时几乎所有句子都像在“背诵”通稿。

解决思路是降低近似去重的阈值，同时增加句子级别的去重检查。这里有个权衡：阈值越低，误杀越多，语料多样性损失越大。我的经验是同时跑两个粒度：文档级阈值按7到10个句子变体中命中了5个以上就判定重复，段落级则用更严格的相似度判断。这样既能控住同源改写，又不至于误伤真正独立的报道。

测试集污染是另一个容易出事的现场。如果训练语料里混进了评测集的内容，模型的评测分数会虚高到你不敢相信，等部署上线才发现真实效果远不如预期。所以建一个“禁止名单”非常必要：所有评测集的文本，在做完整数据流程之前就必须先行剔除，并且这个剔除动作要记录在案、接受复核。宁可多误杀一些疑似评测集内容，也不能让任何一条评测样本漏进训练集。

6.3 数据版本管理：团队协作的隐性战场

数据流水线跑一次就会生成一批新数据，批次之间微调了某个参数，产出的语料就不一样。如果数据没有版本管理，团队“上一次用的哪一批数据”都记不清，实验复现就成了一句空话。

我的习惯是给每批数据打一个唯一版本号，版本号里包含来源快照版本、清洗规则版本、质量打分模型版本、配比配方版本，自动生成到这个批次数据的元信息文件里。任何训练任务都必须在配置里写明数据版本号，训练日志里也要自动记录。这样一来，实验结果、模型效果、数据版本三者严格绑定，出了问题能精确追溯到是哪一版数据的哪个环节动了手脚。

这个习惯在跨团队协作时尤其重要。算法团队改了一个清洗规则，数据团队没有同步更新版本号，两边信息不对称，最后模型效果变了都不知道是谁的锅。数据版本管理不解决，后面所有的排查和优化都会变成一笔糊涂账。

7. 几点实际操作中的体会

说得再多，不如自己上手跑一遍。我个人在数据准备上最大的体会是：这个环节没有“一次到位”这回事，它本质上是持续迭代的过程。第一版流水线跑出来的数据，一定存在各种各样的问题，关键是建立“数据报告—人工抽检—小规模训练验证—调参重跑”的闭环，让每一轮迭代都留下记录，而不是凭感觉改参数。

另外一个深刻的体会是：数据团队和训练团队的配合方式，决定了整个项目的下限。数据处理的人要懂训练指标，训练的人要能读懂数据报告，两边不能各干各的。我建议数据团队定期把“本周数据质量报告”连同抽检样本一起发给训练团队，训练团队把异常loss对应的数据批次反馈回来，形成互相排查的默契。这种做法不需要额外的工具，只需要建立一个沟通习惯，但效果远好过在问题爆发后再互相甩锅。

最后分享一个小技巧：处理预训练数据的时候，一定要保留“处理前”的原始样本。不管你认为清洗规则多可靠，都需要时不时的回头看看原始数据长什么样。很多数据问题的根源，恰恰是原始数据里那些你从未注意过的角落。保存原始数据、保留处理链路、记录所有参数，这三件事做到了，预训练数据准备这个“炼金”流程就成功了一大半。