企业官网建设流程全解析

第2章 LLM发展历程 —— 一部"炼丹"进化史

先说这一章的两个大板块

1. GPT 系列的演化（2.1节）：从 GPT-1 到 ChatGPT，OpenAI 是怎么一步步"炼"出来的
2. 全球主流 LLM 体系（2.2节）：除了 GPT，世界上还有哪些"大模型家族"

第一幕：GPT-1（2018年）—— “开山鼻祖”

它干了什么？

GPT-1 是 OpenAI 的第一个生成式预训练语言模型。论文标题叫《Improving Language Understanding by Generative Pre-Training》。

核心贡献：验证了一个训练范式

“预训练 + 微调”两阶段训练：

• 预训练阶段：让模型在海量英文小说（BooksCorpus，约7000本书）上自学，学的任务就是"给你一句话的前半截，你猜后半截"（Next-Token Prediction）。这就像让一个孩子读了7000本书，虽然没考试，但他已经对语言有了基本感觉。
• 微调阶段：在预训练好的模型上加一个"考试用的脑袋"（Task Classifier），然后在少量标注数据上做针对性训练。这就像孩子读完书后，做几套真题，马上就能参加各种考试了。

关键参数

一句话总结

GPT-1 的意义不在性能，而在范式——它证明了"先海量自学，再少量特训"这条路走得通，后面的 GPT 系列全照着这个路子来的。

它的局限

参数太少（才1亿），能力有限，生成的文本长度短，质量一般。打个比方：相当于一个小学生，虽然各科都及格了，但离学霸还远着呢。

第二幕：GPT-2（2019年）—— “规模效应初显”

它干了什么？

GPT-2 是 GPT-1 的"升级版"，论文标题叫《Language Models are Unsupervised Multitask Learners》（语言模型是无监督的多任务学习者）。

两个核心突破

1. 规模暴增

参数从1.17亿直接飙到15.42亿，涨了10倍多！

2. 零样本能力（Zero-Shot）首次出现

这是 GPT-2 最炸裂的地方：不用微调，直接给任务提示就能干活！

比如你想让它翻译，直接说"把这句话翻译成法语：Hello World"，它就能给你翻译。不需要为翻译任务专门训练。

打个比方：

• GPT-1 是"读完书 → 做几套真题 → 才能考试"
• GPT-2 是"读完书 → 直接裸考，居然也能答对不少"

3. 规模效应（Scaling Effect）被发现

GPT-2 的实验揭示了一个重要规律：模型越大、数据越多，性能就越好。这个发现直接影响了后面 GPT-3 的发展方向——“那就往死里加参数和数据！”

架构改进

• 引入了Pre-LayerNorm（前置归一化），解决大模型训练中梯度不稳定的问题

一句话总结

GPT-2 证明了两件事：规模就是力量（Scaling Law），以及语言模型不需要专门训练就能干多任务（Zero-Shot）。相当于这个"孩子"不光读书多了，而且不用补课就能直接参加各种考试了。

第三幕：GPT-3（2020年）—— “暴力美学的巅峰”

它干了什么？

GPT-3 直接把参数量拉到了1750亿！比 GPT-2 又翻了100倍！

核心创新：上下文学习（In-Context Learning）

这是 GPT-3 最关键的贡献。什么叫上下文学习？就是：

你不需要训练模型，只需要在输入里给几个例子，模型就能"照葫芦画瓢"完成任务。

比如你想让它做情感分类：

输入：这本书太好看了 → 输出：正面 输入：这电影无聊透了 → 输出：负面 输入：今天天气不错 → 输出：（模型会猜"正面"）

只需要你在输入里放两个例子，不用改任何模型参数，它就能举一反三。

打个比方：

• GPT-2 是"裸考能答对一些"
• GPT-3 是"你给它看两道例题，它就能把同类型的题全做了"——这就是少样本学习（Few-Shot）

架构改进

GPT-3 在 Transformer Block 中交替使用稠密注意力和局部带状稀疏注意力：

• 稠密注意力：每个 token 都看所有其他 token（全局信息，但计算量大）
• 局部带状稀疏注意力：每个 token 只看附近窗口内的 token（省计算，但丢失全局信息）
• 交替使用：既有全局视野，又不会算得太慢

训练数据

约570GB文本，3000亿 token，用数千块 NVIDIA V100 GPU 训练了好几周。

一句话总结

GPT-3 用暴力规模证明了一个道理：只要模型够大、数据够多，它就能展现出惊人的涌现能力。不需要针对每个任务单独训练，只要在提示里给几个例子就行。这就是"大力出奇迹"的典型代表。

第四幕：InstructGPT（2022年初）—— “从学霸到好学生”

为什么需要它？

GPT-3 虽然能力强，但有个大问题：它不听话。

你问它一个问题，它的回答可能：

• 答非所问
• 编造事实（幻觉）
• 说出有害的话

为什么？因为 GPT-3 的训练目标只是"预测下一个词"，它学到的是语言的统计规律，而不是如何理解人类的指令。

打个比方：GPT-3 是一个读了一万本书的学霸，知识很丰富，但你让他帮你干活，他可能答非所问、不懂人情世故。InstructGPT 就是给他做了"情商培训"。

核心创新：RLHF 三阶段训练

这是整个教材最重要的概念之一，务必理解：

第一阶段：监督微调（SFT）

• 收集人工标注的"指令-回答"数据
• 在这些数据上微调 GPT-3
• 结果：模型初步学会了"听懂人话"

第二阶段：奖励模型（Reward Model）

• 用 SFT 后的模型，对同一条指令生成多个候选回答
• 人工标注者根据质量、相关性、有用性等维度，对这些回答排名
• 用排名数据训练一个"打分器"（奖励模型），它能给任意回答打一个"偏好分"
• 结果：有了一个"AI裁判"，能判断回答好不好

第三阶段：强化学习（RLHF）

• 模型生成回答 → 奖励模型打分 → 模型根据分数调整参数
• 用的是 PPO（近端策略优化）算法
• 目标：让模型越来越倾向于生成高分回答
• 结果：模型学会了"什么回答是人类喜欢的"

打个比方：

1. SFT：请了个家教，教它"标准答案"长什么样
2. 奖励模型：请了个裁判，能判断答案好坏
3. RLHF：让模型不断练习，裁判不断打分，模型根据分数调整自己的回答方式

一句话总结

InstructGPT 的创新不在架构，而在训练范式——通过"人类反馈强化学习（RLHF）“，让模型从"能说会道但不听话"变成了"既聪明又听话”。

第五幕：ChatGPT（2022年11月）—— “改变世界的那一天”

它是什么？

ChatGPT 是 InstructGPT 的兄弟模型，技术路线完全一样（也是 RLHF），核心区别在于：

数据格式从"单轮问答"变成了"多轮对话"。

InstructGPT 的数据：你问一句，它答一句，结束了。

ChatGPT 的数据：模拟真实的对话场景，有来有回，有上下文连贯。

它能干什么？

• 连贯对话：能记住你前面说了什么
• 承认错误：你说它错了，它会说"对不起，我搞错了"
• 质疑前提：你问"太阳从西边出来了吗？"它会纠正你
• 拒绝不当请求：你让它写违法内容，它会拒绝

为什么它炸了？

ChatGPT 发布5天，用户破100万；两个月，用户破1亿。原因很简单：

它第一次让普通人感受到了"AI 真的能像人一样聊天"。

之前的 GPT-3 虽然厉害，但你需要精心设计 prompt 才能用好。ChatGPT 不需要，你就像跟朋友聊天一样直接说就行。

第2.1节总结：GPT 系列的"三阶段训练范式"

整个 GPT 系列的发展，最终沉淀出了大模型训练的标准三阶段：

第一阶段：预训练（Pre-training） → 海量文本自学，获得"通用语言能力" 第二阶段：监督微调（SFT） → 用人工标注的指令数据特训，学会"听懂人话" 第三阶段：对齐（Alignment） → 用人类偏好调整模型行为，做到"说人话、说好话"

这个三阶段范式现在已经是整个行业的标准，不只是 OpenAI，国内的 DeepSeek、Qwen、GLM 全是照着这个路子来的。

2.2节：全球主流 LLM 体系一览

主流玩家

常用评测榜单

1. LMArena（lmarena.ai）：用户投票排名，谁回答好就投谁，非常直观
2. 司南（OpenCompass）（opencompass.org.cn）：国内的评测体系，更全面

开源 vs 闭源，有啥区别？

• 闭源（如 GPT）：你看不到模型代码和参数，只能通过 API 调用，花钱用
• 开源（如 DeepSeek、Qwen）：代码和模型权重都公开，你可以下载到自己电脑上跑

开源的好处：免费、可定制、可本地部署、数据隐私有保障。

全章一句话总结

GPT 系列从1亿参数发展到1750亿，从"预训练+微调"进化到"预训练+微调+对齐"，最终催生了 ChatGPT。这条技术路线已成为行业标准，国内外各大厂商都在跟进。