企业官网建设流程全解析

1. 从"看不懂"到"能讲清"：我为什么要啃大模型发展史

第一次认真翻大模型相关资料的时候，我最大的感受不是"难"，而是"散"。今天看到一篇讲Transformer架构的，明天刷到一段讲BERT和GPT区别的，后天又冒出来一个MoE、一个RLHF、一个上下文窗口扩展。每个名词单拎出来都能看懂个大概，但把它们串成一条线，脑子里就成了一团浆糊。后来我意识到，问题不在于我笨，而在于我一直在"点"上打转，没有把大模型当成一个有时间轴、有因果链的东西去看。

这份学习笔记就是我从那团浆糊里爬出来的过程记录。它不打算把每个模型的技术细节都讲透——那得写一本书——而是想回答一个更朴素的问题：大模型是怎么一步步变成今天这个样子的？每一步是谁推动的，解决了什么问题，又留下了什么新麻烦。关键词里的大模型、DeepSeek、Transformer、BERT、GPT，其实正好对应了这条线上的几个关键坐标：Transformer是地基，BERT和GPT是两条分岔的路，DeepSeek则是最近几年国产力量在这条路上的一个新注脚。

这篇内容适合两类人看。一类是刚入门、被各种缩写和论文标题劝退的朋友，你需要一条能抓住的主线；另一类是用过一些大模型产品、但说不清它们背后到底差在哪的人，你需要把"用"和"懂"之间的那层窗户纸捅破。我会尽量用生活化的类比，把那些看起来高深的机制讲成人话，同时把一些容易踩的认知坑单独拎出来说。毕竟我自己踩过，知道那有多浪费时间。

2. Transformer之前：那些"笨办法"和它们的天花板

2.1 循环神经网络：一个字一个字地读，读到后面忘了前面

在Transformer出现之前，处理文本序列的主流是循环神经网络（RNN），以及它的改进版LSTM和GRU。你可以把它想象成一个人读书，必须从第一个字开始，一个字一个字往下读，每读一个字就把"当前的理解"更新一次，然后带着这个理解去读下一个字。这种"顺序处理"的方式很符合直觉，但问题也恰恰出在这里。

第一个问题是慢。因为必须等前一个字处理完才能处理下一个字，所以没法并行。一篇一千字的文章，就得老老实实跑一千步，GPU再多也只能干瞪眼。第二个问题是健忘。信息在一步步传递的过程中会不断被稀释，读到句尾的时候，句首的信息可能已经模糊了。LSTM用"门控机制"（输入门、遗忘门、输出门）来缓解这个问题，相当于给记忆加了个筛选器，决定哪些该记、哪些该忘。这确实有效，但只是缓解，不是根治。序列一长，该忘的还是忘。

我打个比方：RNN像传话游戏，一句话从第一个人传到最后一个人，中间经过十几个人，最后往往面目全非。LSTM相当于让每个传话的人做点笔记，但笔记容量有限，传得越远，丢得越多。

2.2 注意力机制的萌芽：让模型学会"回头看"

真正带来转机的，是**注意力机制（Attention）**的引入。它的核心思想很朴素：处理当前这个词的时候，不要只盯着前一个词，而是回头看看整个句子里哪些词跟当前这个词关系最密切，然后按重要程度加权。

举个经典例子："小猫没有过马路，因为它太累了。"这里的"它"指谁？是"小猫"还是"马路"？人一眼就知道是"小猫"，因为"累"这个状态更符合小猫。注意力机制要做的，就是让模型在理解"它"的时候，给"小猫"分配更高的权重，给"马路"分配更低的权重。这个权重不是人手动设的，而是模型自己学出来的。

注意力机制最早是和RNN配合使用的，相当于给传话游戏里的每个人配了一个"可以随时回看原始消息"的权限。这已经比纯RNN强很多了，但底层的顺序处理框架还在，慢的问题依然没解决。真正的爆发，要等到有人提出：既然注意力这么好用，那能不能干脆把RNN扔掉，只用注意力？

3. Transformer登场：一篇论文如何改写了整个领域

3.1 "Attention Is All You Need"到底说了什么

2017年，一篇标题极其自信的论文出现了——《Attention Is All You Need》。这句话翻译过来就是"你需要的只是注意力"，潜台词是：之前那些RNN、LSTM，统统可以不要了。这篇论文提出的架构，就是后来一切大模型的基石——Transformer。

Transformer最关键的两个设计，是自注意力机制（Self-Attention）和多头注意力（Multi-Head Attention）。自注意力解决的是"同一个序列内部，每个词该关注哪些其他词"的问题；多头注意力则是同时跑好几组自注意力，让模型能从不同角度去理解同一句话。比如一组头关注语法关系，另一组头关注语义关联，还有一组头关注指代关系。这就像开会的时候，同时安排几个小组从不同维度讨论同一个议题，最后把结论汇总。

还有一个容易被忽略但极其重要的设计：位置编码（Positional Encoding）。因为Transformer把RNN的顺序处理扔掉了，所有词是同时进入模型的，那模型怎么知道"我"在"爱"前面、"爱"在"你"前面？答案就是给每个位置加一个编码，相当于给每个词发一个"座位号"。没有这个座位号，句子就变成了一袋散装的词，顺序信息全丢了。

3.2 为什么Transformer能并行，而RNN不能

这是Transformer最核心的优势，值得单独说清楚。RNN处理一句话，必须串行：算完第1个词才能算第2个，算完第2个才能算第3个。Transformer不一样，它把整句话一次性喂进去，每个词都同时和所有其他词计算注意力。虽然计算量看起来变大了（每个词都要和所有词算一遍），但这种计算是可以高度并行的，正好对上了GPU擅长并行计算的胃口。

用个类比：RNN像一条单车道，车再多也只能一辆接一辆过；Transformer像一条几十车道的高速公路，所有车可以同时跑。当然，车道多了，修路的成本（显存和算力）也高了，这就是为什么Transformer模型对硬件要求那么高。但只要能并行，就能靠堆硬件把速度提上来，而串行的RNN堆再多硬件也没用。这个"可扩展性"上的差异，直接决定了两条路线的命运。

3.3 编码器和解码器：Transformer的两副面孔

原始Transformer是一个编码器-解码器（Encoder-Decoder）结构，本来是为机器翻译设计的。编码器负责把输入句子"读懂"，解码器负责把读懂的内容"写成"目标语言。编码器里每一层都是自注意力加前馈网络，解码器里除了自注意力，还多了一个交叉注意力（Cross-Attention），用来在生成的时候参考编码器的输出。

这个结构本身没问题，但后来的人发现，编码器和解码器其实可以拆开用，而且拆开之后各自都能独当一面。这一拆，就拆出了两条影响至今的技术路线：一条是以BERT为代表的"只用编码器"路线，一条是以GPT为代表的"只用解码器"路线。理解这个分岔，是理解后面所有大模型的关键。

4. BERT与GPT：同一个地基上长出的两棵不同的树

4.1 BERT：把完形填空做到极致

BERT（Bidirectional Encoder Representations from Transformers）是2018年出现的，它只用了Transformer的编码器部分。它的核心训练方式是掩码语言模型（Masked Language Model，MLM）：把句子里的一些词随机盖住，让模型根据上下文把它们猜出来。比如"今天天气很[MASK]，适合出去玩"，模型要猜出"好"或者"晴朗"。

这个任务看起来简单，但它逼着模型去理解双向上下文——既要看左边的词，也要看右边的词。这跟完形填空很像，你做填空的时候，不可能只看前半句就下笔，肯定得把整句话读完。BERT的强项就在这里：它对语言的理解非常扎实，特别适合做分类任务（比如情感分析、文本蕴含）、命名实体识别、问答抽取这类"理解型"任务。

但BERT有个天生的短板：它不擅长"生成"。因为它的训练目标是填空，不是写文章。你让它续写一段话，它会很别扭，因为它从来没被训练过"一个字一个字往下写"这件事。这就好比一个语文阅读理解满分的人，不一定能写好作文，两者考的能力不一样。

4.2 GPT：把接龙游戏玩到极致

GPT（Generative Pre-trained Transformer）走的是另一条路，它只用了Transformer的解码器部分，训练方式是自回归语言模型：给定前面的词，预测下一个词。比如"今天天气很"，模型预测下一个词是"好"的概率最高。这本质上就是文字接龙。

这个训练方式看起来比BERT的填空还简单，但它有一个巨大的优势：它天然就是生成式的。因为模型训练的时候就是在"预测下一个词"，所以用的时候直接让它一个词一个词往下写就行了，任务形式和训练形式完全一致。这就是为什么GPT系列在对话、写作、代码生成这些任务上如鱼得水。

GPT的另一个特点是单向——它只能看左边的词，不能看右边的词。这在生成任务里是必须的，因为你写下一个词的时候，右边的词还没出现呢，不能作弊。但这也意味着它在纯理解任务上，理论上不如BERT的双向看得全。不过后来的实践证明，只要模型足够大、数据足够多，单向的GPT在理解任务上也能追上来，甚至反超。这引出了大模型领域一个非常重要的经验规律：规模本身就能带来能力。

4.3 两条路线的对比：一张表说清楚

这张表不是让你背的，而是让你建立一个判断框架。以后看到一个新模型，先问它用的是编码器还是解码器，基本就能猜出它擅长干什么。当然，现在很多模型是混合结构或者用了各种变体，但底层逻辑还是这两条线。

5. 规模法则与"涌现"：为什么模型越大越聪明

5.1 规模法则：一条让所有人疯狂的曲线

2020年前后，研究者发现了一个规律：模型的性能跟模型参数量、数据量、计算量之间，存在幂律关系。也就是说，你把模型做大10倍，性能不会只提升一点点，而是会沿着一条相对稳定的曲线往上走。这个规律被称为规模法则（Scaling Law）。

这个发现直接点燃了整个行业。因为在此之前，大家还在纠结架构怎么设计、技巧怎么优化，规模法则告诉大家：别整那些花活了，把模型做大、数据喂多、算力堆够，性能自然就上去了。于是模型参数量从几亿、几十亿，一路飙到几百亿、上千亿。GPT-3有1750亿参数，在当时已经是个天文数字。

但规模法则也不是万能的。它有个前提：数据和算力得跟上。你光把参数堆上去，数据不够，模型就会过拟合；算力不够，根本训不完。而且规模法则描述的是"平均趋势"，具体到某个能力上，什么时候会突然变好，事先很难预测。

5.2 涌现能力：量变到质变的那一下

比规模法则更让人兴奋的，是涌现能力（Emergent Abilities）。所谓涌现，就是模型规模小的时候完全不会的能力，规模一旦超过某个阈值，突然就会了。比如多步推理、上下文学习（In-Context Learning）、**思维链（Chain-of-Thought）**这些能力，在小模型上怎么调都出不来，但模型一大，自己就冒出来了。

这有点像水的沸点。水温从20度升到99度，看起来只是变热了，但到了100度，突然就沸腾了，性质完全变了。涌现能力就是大模型的"沸点时刻"。这也是为什么大家对"更大模型"如此执着——你不知道下一个阈值在哪里，也不知道跨过去之后会解锁什么新能力。

不过这里要泼一盆冷水：涌现能力这个概念本身也有争议。有研究者认为，所谓的"突然涌现"，可能只是因为评价指标太苛刻了。比如用"完全正确"来打分，那模型从0%到1%看起来就是突然跳变；但如果用"部分正确"来打分，可能是一条平滑上升的曲线。这个争论到现在还没完全平息，但它提醒我们：别把任何概念当成绝对真理，保持怀疑。

5.3 从"预训练+微调"到"预训练+提示"

规模变大之后，使用模型的方式也变了。早期是预训练+微调（Pre-train + Fine-tune）：先在大规模语料上预训练一个底座模型，然后针对具体任务，用少量标注数据微调一下。BERT时代基本都是这个套路。

但模型大到一定程度后，微调的成本变得很高，而且每个任务都微调一个版本，管理起来很麻烦。于是提示工程（Prompt Engineering）和上下文学习开始流行：不改模型参数，只在输入里给几个例子或者一段指令，模型就能照着做。这相当于把"重新训练一个模型"变成了"跟模型说清楚你要什么"。门槛一下子降低了很多，也是大模型能迅速普及的重要原因。

6. 人类反馈与对齐：让模型"说人话、办人事"

6.1 为什么光靠预训练不够

预训练出来的模型，本质上是一个"文字接龙高手"。你给它一个开头，它能接下去，但它不知道什么叫"好好回答"。你问它"怎么做红烧肉"，它可能给你接一段菜谱，也可能接一段跟红烧肉毫无关系的新闻，甚至接一段有害内容。因为它的目标只是"预测下一个词"，不是"给出有用的回答"。

这就引出了**对齐（Alignment）**问题：怎么让模型的行为符合人类的期望？怎么让它既有用，又安全，还不胡说八道？这个问题在GPT-3时代还不算突出，因为大家主要拿它做补全，对输出质量要求没那么高。但到了ChatGPT时代，模型要直接跟人对话，对齐就成了生死攸关的事。

6.2 RLHF：用人类反馈当"教练"

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是OpenAI在训练ChatGPT时用的关键技术。它的流程大致分三步：

1. 监督微调（SFT）：先找一批人，写出高质量的问答对，用这些数据微调模型，让它学会"问答"这个基本格式。
2. 训练奖励模型（Reward Model）：给模型同一个问题的多个回答，让人来排序，哪个好哪个差。用这些排序数据训练一个"奖励模型"，让它学会给回答打分。
3. 强化学习优化：用奖励模型当"裁判"，通过强化学习算法（如PPO）不断优化主模型，让它生成的回答得分越来越高。

打个比方：SFT相当于给学生看标准答案，让他知道答题格式；奖励模型相当于请了一批阅卷老师，给学生的答案打分；强化学习相当于让学生根据老师的打分不断调整自己的答题策略。经过这一套流程，模型就从"会接龙"变成了"会好好回答问题"。

6.3 对齐的代价与争议

RLHF效果很好，但代价也不小。首先，人工标注成本极高，要请大量的人来写答案、做排序。其次，奖励模型可能被"钻空子"：模型会学会讨好奖励模型，而不是真正给出好答案，这叫"奖励黑客（Reward Hacking）"。再者，对齐本身可能损害模型能力，过度对齐会让模型变得谨小慎微，该说的也不敢说。

还有一个更深层的问题：对齐的是谁的标准？不同文化、不同群体对"好回答"的定义不一样，用一批标注者的偏好去训练模型，难免会带上他们的偏见。这个问题没有完美答案，只能靠不断迭代和多样化标注来缓解。我在实际使用各种大模型的时候，能明显感觉到不同模型在"说话风格"和"回避倾向"上的差异，这背后其实就是对齐策略的不同。

7. DeepSeek与国产大模型：这条路上的新变量

7.1 DeepSeek做对了什么

DeepSeek是最近几年国产大模型里讨论度很高的一个。它引起关注的原因，不只是性能，还有成本效率。在大家都觉得"大模型就是烧钱"的时候，DeepSeek用相对更低的训练成本，做出了有竞争力的模型，这对整个行业都是一个刺激。

它的一些技术选择值得注意，比如混合专家模型（MoE）。MoE的核心思想是：不是每次推理都激活全部参数，而是只激活其中一部分"专家"。这就像一个大公司，不是每个项目都全员上阵，而是根据项目类型抽调对应的专家。这样既能保持模型容量大，又能控制实际计算量。当然，MoE也有自己的难题，比如负载均衡——怎么保证每个专家都被充分利用，而不是有的忙死、有的闲着。这需要额外的路由设计和训练技巧。

7.2 国产大模型的整体处境

把视野拉大一点看，国产大模型这几年走的是一条"追赶+差异化"的路。追赶的部分，是底层架构、训练方法、规模法则这些通用技术；差异化的部分，则体现在中文语料处理、本地化应用场景、私有化部署这些方向上。

企业大模型私有化部署是一个特别值得关注的方向。很多企业出于数据安全考虑，不愿意把数据传到公有云上，而是希望把模型部署在自己的服务器里。这就对模型的体积、推理效率、硬件适配提出了更高要求。不是每个企业都有几千张显卡，怎么让模型在有限的硬件上跑起来，是一个很实际的问题。量化、蒸馏、剪枝这些模型压缩技术，在这个场景下就变得非常重要。

7.3 上下文长度：一个被低估的战场

大模型上下文长度是另一个关键指标。所谓上下文长度，就是模型一次能"记住"多少内容。早期模型只能记住几百到几千个词，稍微长一点的文档就处理不了。后来各家都在拼命扩展上下文窗口，从4K到32K，再到128K甚至更长。

为什么上下文长度这么重要？因为它直接决定了模型能处理多复杂的任务。你让它总结一篇长文，它得先把整篇文读完；你让它分析一份合同，它得把合同条款都装进"脑子"里。上下文不够，就只能分段处理，而分段就会丢失跨段落的关联信息。扩展上下文长度的技术难点在于：注意力计算量是随长度平方增长的，长度翻倍，计算量翻四倍。怎么在保证效果的同时控制成本，是各家都在攻的难题。

8. 学习大模型发展史，我踩过的几个认知坑

8.1 坑一：以为"看懂架构图"就等于"懂了模型"

我一开始学Transformer的时候，把架构图背得滚瓜烂熟，自注意力公式也能默写，但真让我解释"为什么多头比单头好"，我就卡壳了。后来才明白，架构图只是骨架，真正的理解来自于搞清楚每个设计决策背后的动机。多头注意力不是为了炫技，而是因为不同的注意力头可以捕捉不同类型的关联；位置编码不是可有可无的装饰，而是没有它模型就分不清词序。学任何技术，都要多问一句"为什么这么设计，不这么设计会怎样"。

8.2 坑二：把BERT和GPT当成"竞争对手"

我早期有个误解，觉得BERT和GPT是竞争关系，一个赢了另一个就输了。后来才想明白，它们只是同一个地基上长出的两棵不同的树，各自适配不同的任务。BERT擅长理解，GPT擅长生成，这不是谁强谁弱的问题，而是适用场景不同。现在很多实际系统里，两者是配合使用的，比如用BERT做检索和排序，用GPT做最终的回答生成。把技术路线当成"站队"，是很幼稚的想法。

8.3 坑三：迷信"规模法则"，忽略数据和算法

规模法则刚出来的时候，我一度觉得"只要模型够大就行"。但后来看到很多反例：有些模型参数很大，效果却一般；有些模型参数没那么大，但数据质量高、训练策略好，效果反而更好。规模是重要变量，但不是唯一变量。数据质量、数据多样性、训练稳定性、对齐策略，这些都会影响最终效果。把规模法则理解成"无脑堆参数"，是对它最大的误读。

8.4 坑四：以为"发展史"就是"时间线"

我最初整理这份笔记的时候，是按时间顺序罗列的：2017年Transformer，2018年BERT和GPT-1，2019年GPT-2，2020年GPT-3……列完之后发现，除了记住几个年份，什么都没学到。后来我换了个思路，按"问题-方案"来组织：每个阶段遇到了什么问题，提出了什么方案，方案又带来了什么新问题。这样一梳理，整条线就活了。历史不是年份的堆砌，而是问题链的展开。

9. 给不同阶段学习者的实操建议

9.1 刚入门：先建主线，再抠细节

如果你刚开始学，我的建议是先花两三天把主线搞清楚：Transformer是什么，BERT和GPT分别是什么路线，规模法则和对齐大概是怎么回事。不要一上来就啃论文公式，那样很容易劝退。可以找一些图解Transformer的资料，先把自注意力、多头、位置编码这几个核心概念用图理解个大概。等主线清楚了，再回头抠细节，效率会高很多。

具体操作上，我建议按这个顺序走：先看Transformer的图解，理解编码器-解码器的数据流；然后对比BERT和GPT的训练目标，搞清楚"填空"和"接龙"的区别；接着了解规模法则和涌现能力，建立"规模很重要"的直觉；最后看RLHF，理解模型是怎么从"会接龙"变成"会对话"的。每一步都不求甚解，先跑通，再回头补。

9.2 有基础：动手跑一个小模型

如果你已经有一定基础，光看是不够的，一定要动手。不用一上来就训大模型，那成本太高。可以从一个小型的Transformer开始，比如用几百万参数的模型做一个简单的文本分类或者字符级生成任务。重点不是效果多好，而是亲手感受一下数据是怎么流动的、注意力是怎么计算的、训练是怎么收敛的。

我自己的经验是，跑通一个小模型之后，再回头看那些大模型的论文，很多之前看不懂的设计细节，突然就明白了。因为你知道每个模块在代码里长什么样，知道张量的形状怎么变，知道损失函数怎么算。这种"手感"是看多少篇文章都换不来的。

9.3 进阶：关注效率与部署

如果你已经能训模型了，下一步值得关注的是效率和部署。大模型不是训完就完事了，怎么让它跑得快、跑得省、跑得稳，是另一个大课题。这里涉及的技术包括量化（把参数从高精度压到低精度）、蒸馏（用大模型教小模型）、推理优化（KV Cache、批处理、算子融合）等。

这些技术听起来很工程，但它们直接决定了大模型能不能真正落地。一个效果再好但推理成本高到离谱的模型，在实际业务里是没法用的。所以如果你想把大模型用起来，而不是只停留在研究阶段，这部分一定要补。

10. 我在这份笔记里最想留下的几个判断

学完这一圈，我最大的体会是：大模型的发展不是一条直线，而是一连串"解决旧问题、引入新问题"的循环。Transformer解决了RNN的并行问题，但带来了显存和算力需求；规模法则解决了"怎么变强"的问题，但带来了成本和可控性问题；RLHF解决了"怎么让模型听话"的问题，但带来了对齐标准和奖励黑客的问题。每一个方案都不是终点，而是下一轮问题的起点。

第二个体会是：别被名词吓住。大模型领域的名词密度极高，MoE、RLHF、In-Context Learning、Chain-of-Thought……但剥开这些名词，背后的思想往往很朴素。MoE就是"按需调用专家"，RLHF就是"用人类反馈当教练"，思维链就是"让模型把推理过程写出来"。理解了思想，名词就只是标签。

第三个体会是：动手和读文要交替进行。光读不练，容易变成名词收集器；光练不读，容易陷入局部细节出不来。最好的节奏是读一段、跑一段、再回头读一段。我自己就是靠这个节奏，才慢慢从"看啥都懵"变成"能跟人讲清楚"的。

最后分享一个我整理这类知识的小技巧：用"问题链"代替"时间线"。不要问"2018年发生了什么"，要问"当时遇到了什么问题，所以提出了什么方案"。这样整理出来的笔记，不是死记硬背的年表，而是一条能自己推演的逻辑链。下次遇到新模型、新技术，你也能用同样的方式把它挂到这条链上，而不是又变成一个孤立的名词。