企业官网建设流程全解析

每隔一段时间，深度学习圈子的技术栈就会集体刷新一次。前两年大家还在争论该用哪个预训练模型做微调，现在讨论的重点已经变成「要不要给模型加思考时间」「Agent 跑起来之后上下文怎么管」「小模型压到多少量级还能保住效果」。我最近把过去一年自己跟踪过的技术动态重新梳理了一遍，顺手整理了这份摘要笔记。它不是论文综述，更像是我作为一个深度学习的长期使用者，给团队和自己画的一张技术路线图。内容覆盖大语言模型的范式变化、多模态与视频生成、Agent 工程化、模型压缩部署、世界模型与具身智能，以及最容易被低估的基础设施和评测问题。适合算法工程师、技术负责人，以及打算入行深度学习的学生参考。

1. 大语言模型的主战场已从预训练转移

1.1 后训练与对齐：同一个模型的两条进化路径

很多人以为大模型的竞争力还在「谁的数据多、谁的参数大」，但过去一两年里，竞争重心已经明显向后训练阶段移动。预训练当然还是基础，但各家基础模型的原始能力差距正在缩小，真正拉开体验差距的，是后续的微调、对齐和推理策略。你可以把预训练想象成给一个人完成九年义务教育，而后训练则是职业培训——同一个毕业生，培训方向不同，进入职场后的表现会天差地别。

技术上最典型的变化就是对齐方法的迭代。早期大家普遍用 RLHF（基于人类反馈的强化学习），需要训练独立的奖励模型，流程重、成本高，小团队很难玩得转。后来 DPO 这类直接偏好优化方法出现，省去了奖励模型，直接在偏好数据上做监督式微调，门槛一下子降了一大截。再往后，在线强化学习又被重新重视起来，因为纯离线偏好数据容易让模型「过度拟合人类标注者的口味」，遇到分布外输入就露馅。

我自己的经验是，对齐方法没有绝对的最优解，关键看你的数据质量。如果你手上只有几千条高质量偏好数据，DPO 往往比 RLHF 更稳；如果你能持续收集线上反馈并迭代奖励模型，那在线 RL 的天花板更高。这个取舍本质上是个工程问题，不是论文品味问题。

1.2 推理时扩展：把「想得更久」变成产品策略

另一个必须跟进的概念是推理时扩展（inference-time scaling）。简单说，以前我们觉得模型能力在训练完就固定了，现在可以在推理阶段通过「让模型多思考几步」来换取更高准确率。典型实现就是让模型在给出答案前输出一段内部推理过程，或者通过搜索、回溯来修正自己的思路。

这类技术对推理、数学、代码等任务提升非常明显，但对一般问答和短文本生成可能只是拖慢速度。我见过不少团队把推理模型直接套在线上聊天场景，结果延迟从 1 秒变成了 8 秒，用户流失率反而涨了。所以推理时扩展更适合离线分析、复杂问答、代码生成这类对延迟不敏感、对准确率要求高的场景。

实操层面有个容易被忽略的细节：输出推理过程的模型，需要配套处理「半结构化输出」。模型可能会吐出不闭合的标记、重复的思考内容，或者推理很长但最终答案空白。我当时在做一个内部知识库问答系统时，就专门写了解析层来处理这类情况——截断超长推理、提取最终结论、失败时自动回退到普通模式。这一层虽然不起眼，但决定了推理模型能不能真正上线。

2. 多模态不是简单拼数据，而是统一表征的竞赛

2.1 视频生成把「一致性」推到了前排

多模态是深度学习里最热闹的方向之一，图片理解、图文生成已经相对成熟，真正难啃的是视频生成。视频生成和图片生成有个本质区别：图片是一张静态画面，模型可以慢慢迭代到满意为止；视频是一串连续帧，任何一帧崩了或者前后不一致，整段内容就废了。这也是为什么我们看到很多视频生成 Demo「第一眼惊艳，第二秒穿帮」——物体运动一多，形变和闪烁就冒出来了。

现在的主流做法还是扩散模型路线，通过反复去噪来生成帧序列，但为了维持时间一致性，模型架构上需要额外引入时序注意力或者运动估计模块，推理成本比单图生成高一到两个数量级。我测试过一些开源视频模型，单段 5 秒 720P 视频，在消费级显卡上跑，耗时动辄十几分钟，而且可控性很差：你没法精确控制镜头运动、物体数量或者场景布局。

所以我对视频生成落地建议是：先别追求大片级效果，优先用来做短视频素材、产品演示、广告分镜这类「容错率高、重看次数少」的场景。如果要做专业视频工具，重点投入在可控性和编辑能力上——用户不是要模型凭空生成一段视频，而是想改某一段动作、换某一个物体，这比「生成得更炫」难得多，也值钱得多。

2.2 统一分词与共享架构的工程代价

多模态的另一条路线是往统一架构上靠：让文本、图像、音频、视频共用一套表征和训练框架。这个想法的好处显而易见——模型可以跨模态迁移知识，比如先学文本推理，再迁移到图像理解。但工程代价同样明显：不同模态的信息密度和结构完全不同，强行统一会导致训练不稳定、收敛变慢。

我见过一个多模态项目，团队花了大量时间在「模态对齐」上：图像编码器输出特征和文本嵌入不在同一空间，需要额外投影层，但投影层的初始化、学习率都和主干不一致，结果训练初期损失曲线疯狂抖动。最后他们把训练分成两阶段——先冻结主干只训练投影层，再解锁全部参数做联合微调，才稳住训练过程。这段经历给我的启发是：多模态模型的难点从来不是模型结构有多新，而是各个模态在训练节奏、数据配比、梯度尺度上的协调。

3. Agent 化让深度学习从「出结果」变成「干完事」

3.1 工具调用与上下文管理的隐性复杂度

大模型 Agent 是这两年被讨论最多的应用方向之一。技术上，它本质上是给模型配了工具调用能力：模型不仅能回答问题，还能调用搜索引擎、API、数据库、代码执行器，然后根据返回结果继续决策。听起来很简单，但真正做起来会发现，杂活的复杂度全在模型外面。

最典型的坑是上下文爆炸。Agent 每走一步，都要把新的观察结果塞回上下文里。一个多步骤任务跑下来，上下文可能膨胀到几十万 token，推理时间和成本一起飙升。我当时做的内部运营助手就遇到过这个问题：任务执行到第五步时，响应延迟已经慢到不可接受。后来我加了两层机制：一是关键信息摘要——每轮工具调用完成后，把原始结果压缩成结构化摘要再放回上下文；二是历史裁剪——超过一定轮数后，把早期的对话内容转成简短的记忆条目。这样 30 轮以内的 Agent 任务基本都能稳稳跑完。

另外一个容易踩的坑是工具调用的格式解析。模型偶尔会在 JSON 工具调用里塞注释、换行或者多余字段，解析器一个没处理好，整个流程就卡死了。务必要在模型输出和工具执行之间加容错层：对输出做清洗、校验参数类型、超时重试。这些都是脏活，但决定了 Agent 是演示品还是生产工具。

3.2 评估智能体比训练智能体更让人头疼

传统的模型评估很简单：给一批测试题，算准确率。但 Agent 是流程式的，同一个任务，模型可能走 5 步完成，也可能绕 12 步，还可能中途调用了错误的工具但最终歪打正着。怎么判断它的表现好不好？

我目前常用的做法是把评估拆成三层。第一层是「任务完成度」：核心目标是否达成，比如订单有没有成功创建、问题有没有被正确回答。第二层是「效率」：步数是否合理、有没有做无用调用，这个直接影响成本。第三层是「安全性」：有没有执行明显不该执行的敏感操作，比如删除数据、泄露权限。三层各算各的分，最后综合看。没有这套评估，你根本没法比较两个 Agent 方案谁更优，只能靠肉眼感受「感觉这个聪明一点」，这在工程上是不可接受的。

顺带说一句，现在很多 Agent 框架自带的评估功能都比较粗糙，真正要落地，还是得针对自己业务建评测集。评测集不一定要很大，但必须覆盖典型的正常路径、边界路径和异常路径，三类场景至少各几十条。

4. 轻量化、压缩与部署：小模型的边界正在外移

4.1 蒸馏与量化不是免费午餐

深度学习落地时，成本压力永远是绕不开的话题。大模型效果好，但推理成本高、延迟高、部署门槛高。于是蒸馏、量化、剪枝这类轻量化手段，成了工程团队的日常操作。

知识蒸馏的思路是让一个小模型去模仿大模型的输出分布，而不是只学硬标签。这么做的好处是，小模型不仅能学到正确答案，还能学到大模型对不确定样本的「犹豫程度」，泛化能力通常比直接训练好不少。但蒸馏有个隐含前提：大模型本身的输出质量要够高。如果大模型在某个子领域本身就在瞎编，蒸馏等于把错误放大教给小模型。

量化则是把模型权重从 32 位浮点数压缩到 8 位甚至 4 位整数。我实测下来的结论是：8 位量化在绝大多数任务上几乎没有损失，4 位量化则要看具体任务，数学推理、长文本理解这类任务退化会比较明显。有一次我把一个 7B 模型压到 4 位，跑情感分类没问题，但跑复杂指令理解，明显感觉模型变「笨」了。所以量化方案一定要搭配自己的评测集来验，不能只看模型大小和速度。

4.2 部署侧的取舍：效果、成本、延迟三选二

我发现很多团队在选择模型时，只有一个模糊的感觉：「越大越好」或者「小一点省钱」。但真正落地的时候，你需要先想清楚业务对效果、成本、延迟的优先级。我把常见的取舍整理成了下面这张表，基本可以覆盖大多数场景。

表格只是参考，真正的关键是每个参数都要量化出来：单次调用的平均成本、p95 延迟、失败率，这些数字不跑压测是拿不到的。我见过一个团队因为没做压测，上线第一天推理服务就被打爆，后来加了一堆缓存和限流才救回来。

部署侧还有一个容易被忽视的点：GPU 资源利用率。现在很多推理框架支持动态批处理、Continuous Batching，可以把并发请求拼在一起跑，大幅提升吞吐。但开启之后，单个请求的延迟会波动，需要你在吞吐和延迟之间做显式配置。这个平衡没有标准答案，只能拿自己业务的流量分布去压测。

5. 世界模型、具身智能与 AI for Science：前哨站

5.1 世界模型为何又回到聚光灯下

世界模型这个概念在深度学习里不算新，但过去一年它明显回到了聚光灯下。核心想法是：让模型学习环境状态的演化规律，能够根据当前状态预测下一步状态，而不是只学会输入到输出的直接映射。这就像一个人打桌球，不是靠死记硬背每个球的角度，而是建立了一套「球怎么走」的物理直觉。

大语言模型的推理能力让世界模型有了新的实现空间——有些团队开始尝试用语言描述物理世界的变化，配合视觉信息综合建模。但目前看，这类模型离可靠还比较远，尤其在物理规律复杂的场景里，经常出现「脑子会了、手不会」的尴尬：模型能预测物体大概会动，但具体动到哪、速度多少，误差很大。

我觉得世界模型短期内更适合做仿真环境里的辅助判读，比如游戏 AI、机器人模拟训练，而不是直接替代物理引擎。如果你所在团队想跟进这个方向，建议从特定受限场景切进去，比如固定机械臂的操作环境或者室内导航环境，先把小场景做准，再考虑通用性。

5.2 具身智能与科学发现的共性难题：数据与验证

具身智能和 AI for Science 是看起来风马牛不相及的两个方向，但它们有一个共同瓶颈：数据稀缺和验证困难。具身智能需要机器人真实操作的数据，但采集机器人数据要硬件、要场地、要安全措施，成本极高；AI for Science 需要大量高质量的实验数据，可很多科学数据本身就不容易获得，标注和验证更是麻烦。

这两个方向的共同点还在于「仿真的鸿沟」。机器人领域，模型在仿真环境里学得很好，一到真实世界就失效，因为仿真永远不能完全模拟物理世界的摩擦、光照和噪声；科学发现里，模型的预测也需要真实实验验证，但实验周期长、成本高，根本不可能大量试错。

对普通团队来说，这两个方向目前不是很好的切入点，更适合大团队和科研机构去押注。但我们可以保持跟踪，因为它们一旦突破，很可能以工具化的方式外溢出来——就好像当年视觉模型成熟后，图像识别的能力很快变成了大家都调用的接口。

6. 进入前沿之前的最后一关：基础设施与评测

6.1 复现失败的大多不是算法而是环境

这是我近年最深的感触：很多团队不是输在模型选型，而是死在基础设施和工程细节上。同一个开源模型，别人复现出 80 分的效果，自己跑只有 60 分，大多数时候不是玄学或运气，而是训练配置、数据预处理、随机种子、框架版本这些「脏东西」在起作用。

我遇到过最典型的问题有三个：一是数据顺序不一致，同样的数据集，打乱顺序不同，最终效果能差两三个点；二是框架版本差异，不同版本的算子实现会带来数值精度变化，累积下来就是效果偏差；三是超参敏感，学习率调度、warmup 步数、batch size，任何一个不对，都可能导致训练震荡甚至不收敛。所以我的建议是，复现任何项目之前，先把环境锁死：用固定版本的依赖镜像，记录数据预处理的具体细节，保存完整的超参配置文件。

6.2 评测体系决定技术选型的质量

另一个被低估的环节是评测。前沿技术天天变，新模型、新方法层出不穷，如果没有一套稳定、可靠、贴业务的评测体系，你根本没法判断哪个新技术值得引入。评测集的质量，直接决定了你选型和迭代的决策质量。

我目前的做法是准备三个评测集：核心业务集，覆盖线上最典型的调用场景，数量不用多，一两百条足矣；对抗集，专门放一些容易出错的边界样本，比如模糊提问、非常规格式、干扰信息；回归集，用来做版本对比，确保新模型上线后不会把旧能力改坏。每次做技术选型，我都拿着这三个集把候选方案全部跑一遍，算准确率、算成本、算延迟，然后综合考虑。

有了这套评测体系，我在面对所谓「前沿突破」时会淡定很多——先跑评测，再谈适配。因为很多新技术在公开基准上表现不错，但换到自己的业务场景里，效果可能反而不如老方案。这不一定是技术不行，而是领域不匹配。评测体系的另一个好处是，它能帮团队沉淀知识：每个版本的方案优劣都有记录，后面新成员接手时不用靠问人，直接看历史报告就行。

7. 我的年度取舍：哪些方向值得跟，哪些先放一放

7.1 值得现在动手的方向

如果让我给团队提建议，我会优先推荐三个方向：一是基于推理时扩展的复杂任务处理，也就是让模型在关键场景下「多想几步」，它的投资回报比很高，只需要在现有模型上增加推理策略，不需要重新训练；二是 Agent 工程化，尤其是工具调用和数据管线打通，因为大部分业务都能从中受益，而且一旦跑通，壁垒很高；三是模型轻量化部署，把大模型压到够用的成本水平，这个能力在成本压力越来越大的环境下特别值钱。

这三个方向有两个共同特点：技术已经相对成熟，不会轻易被推翻；同时它们都需要工程投入，不容易被快速复制。比起盲目追热点，把这三个方向做扎实，是对团队更实际的资产负债表。

7.2 我会继续观望的方向

与之相对的，我会保持观望但不急于投入的方向包括：通用视频生成、世界模型、具身智能，以及尚不成熟的 AI for Science 应用。不是说这些方向没价值，而是它们的投入产出比目前还很不确定。通用视频生成的可控性问题没解决之前，很难做成稳定的产品；世界模型和具身智能对数据、硬件和场景的要求太高，更适合资源充足的团队去试水。

我自己跟踪前沿技术的方式很简单：每个季度整理一次技术雷达卡片，把看到的方向分成「已落地」「可实验」「纯观察」三档，每档配三到五句话说明判断依据。这样做的好处是，团队讨论技术选型时不会凭感觉，而是有一份持续更新的依据表。深度学习的节奏很快，但并不要求每个人每个热点都跟，把有限的资源押在你真正需要的地方，比什么都追更重要。