企业官网建设流程全解析

做强化学习的人，很难绕开Dreamer这个名字。它是“以世界模型为核心的强化学习”里最有代表性的一篇工作，核心玩法就八个字：潜空间里做梦，梦里学策略。说白了，不是让智能体在真实环境里硬碰硬试错，而是先用历史数据学会一个环境模型，再钻进压缩后的潜空间，让策略和价值函数对着模型想象出来的未来轨迹反复训练。这种“纯潜空间想象驱动”的思路，直接把样本效率拉高了不止一个台阶，很多连续控制任务在百万步交互之内就能拿出能看的成绩，而且输入直接给像素也能学。

这篇内容不打算复述论文公式，而是想以一个实际复现过、踩过坑的实践者视角，把DreamerV1彻底拆开讲清楚：它凭什么能工作、世界模型里那几个模块各自干什么、actor-critic到底是怎么在“梦境”里被训出来的，以及你自己动手复现的时候，会在哪些地方卡住。适合刚接触世界模型的RL玩家，也适合想从model-free迁移过来的工程同学，照着这篇能把整体脉络和实操要点都理顺。

1. Dreamer解决的核心问题：从“试错”到“做梦”

1.1 无模型方法的尴尬：每一条经验都要花钱

先别急着看“想象”这个词有多玄乎，得先明白传统强化学习疼在哪。DDPG、PPO、SAC这类无模型方法，本质上是把环境当成黑盒，靠大剂量的“试错”采样来磨策略。好处是通用、不用建模，坏处是样本效率极其难看。一个简单的机器人行走任务，像素输入下动不动要几百万甚至上千万步交互才能学会，放在仿真里是烧GPU，放在真实机器人上就是烧时间、烧设备，一个失误还可能把硬件搞坏。

我经常打一个比方：无模型学习像是请了个新司机直接上路开，靠一次次剐蹭、熄火、撞护栏来学开车。也不是学不会，但每一课都要付真金白银的“学费”。如果能在上真路之前，先在一个足够真实的模拟器里把该撞的墙都撞一遍，再把经验迁移到真车上，那才是更聪明的做法。Dreamer干的其实就是这件事。

1.2 多一个世界模型，等于多一个廉价模拟器

Dreamer选择了一条更古典的路子：model-based。先收集一批真实交互数据，用它们学习一个“世界模型”（world model），也就是环境动力学的近似描述——给定当前状态和动作，预测下一个状态和奖励会是什么样。有了这个模型，训练数据就不再只能依赖真实环境一点一点采了，模型可以被反复向前滚动，批量生成虚拟轨迹，相当于给RL配了一个无限量的廉价模拟器。

这条路最大的隐患是“模型偏差”。学出来的世界模型终归是近似，预测久了误差会累积，拿一个越滚越偏的模型去训练策略，策略自然也会学到一堆幻觉。所以模型不仅要学得快，还要学得稳。Dreamer最大的聪明之处，不是提出“可以学模型”，而是回答了“模型应该建在什么空间、想象应该在什么空间里做”，答案就是潜空间。

1.3 为什么要强调“纯潜空间想象”

如果把想象放在原始像素空间里做，每一步都要生成一整张未来图像，计算开销巨大，而且图像预测本身就是个高维难题。更麻烦的是，像素空间里的微小误差会随着想象步数快速放大，画面越到后面越模糊、越失真，策略在这种“梦境”里学出来，效果很难保证。

潜空间就不一样。智能体先把高维观测压缩成一个紧凑的低维隐状态，世界模型只在隐状态上演化。想象过程中不需要重建图像，只需要不断预测隐状态和奖励，计算量小了不止一个量级。Dreamer里的行为学习完全发生在潜空间：策略看的是隐状态，价值函数算的是隐状态，奖励用的是预测头，整个过程压根不需要把隐状态解码回像素。所以我一直觉得“纯潜空间想象驱动”这个定位非常准确——它就是靠一个学出来的压缩梦境引擎，在紧凑空间里完成所有行为训练。

2. 世界模型：梦境引擎的内部结构

2.1 RSSM：确定性记忆和随机状态的组合

Dreamer的世界模型结构叫RSSM（Recurrent State-Space Model，循环状态空间模型），它的设计很值得细品。如果只用一个大LSTM去硬学时序，模型容易把所有变化都塞进确定性隐状态里，丢失了对环境不确定性的刻画；如果只用纯随机状态，又很难把长距离依赖记牢，毕竟随机采样这一步很容易把信息冲掉。RSSM的做法是两个都要：一个确定性路径负责记住上下文，一个随机路径负责表达每一时刻的分布变化。

具体展开是这样的。假设t时刻的确定性状态为h_t，随机状态为z_t。智能体先通过一个编码器把观测o_t编码，再用后验分布q(z_t | h_t, o_t)采样出当前随机状态；与此同时，世界模型会基于前一步的状态和动作，预测一个先验分布p(z_t | h_t)，这一步不看真实观测。整个链路里，h_t由一个GRU式的序列模型维护：h_t = f(h_{t-1}, z_{t-1}, a_{t-1})，这里a_{t-1}是上一步的动作。最终完整的隐状态就是h_t和z_t拼在一起，后面所有网络都基于这个状态干活。

这个结构解决了一个很实际的问题：环境里既有“确定可以预测的趋势”，也有“只能给出概率分布的随机细节”。比如机器人走路，步伐节奏是有规律可循的，但每一步落地时的微小抖动就是随机的。确定性路径负责把节奏记住，随机路径负责表达“下一步可能有好几种走向”，两者结合，世界模型预测出来的未来才既稳定又不僵化。

2.2 训练目标：重建之外，还有奖励和KL约束

世界模型不是凭空学的，它要在真实轨迹上训练，损失函数大致有四块，我写个简化版本：

loss = reconstruction_loss(o_t) \ + reward_loss(r_t) \ + kl_scale * max(free_bits, kl(posterior || prior))

第一块是观测重建损失。把隐状态丢给解码器，看能不能还原出原始观测，这相当于给潜空间上了一道“接地气”的锁，逼着隐状态真的携带了观测里的关键信息，否则解码器永远还原不出来。第二块是奖励预测损失，让世界模型在想象时能给出靠谱的奖励信号。第三块是KL散度，约束后验和先验不要离得太远。

这里有个特别容易忽略的细节：KL项需要配合free bits技巧。如果KL的权重太大，模型会学成一个“聋子”，后验分布完全等于先验，压根不看观测，反正KL是零，损失照样低，这就是典型的后验塌陷（posterior collapse）。free bits的思路是给KL设一个下限，比如每个随机变量至少要让KL达到1 nat才算数，低于这个值就不算梯度，等于强迫隐状态必须携带一定量的观测信息。复现的时候如果发现隐状态变得毫无意义，先怀疑free bits是不是设小了，这个坑我踩过不止一次。

2.3 为什么奖励预测才是行为学习的关键

很多人第一次看Dreamer会困惑：世界模型都学了，奖励预测也学了，为什么行为学习的时候只看奖励和隐状态，不把重建出来的图像喂给策略？答案很简单：策略真的不需要图像。策略的目标是选动作、拿高回报，它需要的是“我处于什么状态”“这个状态大概能拿多少奖励”“下一步动作会把状态带往哪里”，这些东西在潜空间里全都有。

重建损失的存在主要是为了让潜空间保有足够语义，相当于给隐状态做“扫描定位”，防止它在想象过程中漂移到不存在的状态。一旦世界模型训练完成，行为学习阶段就跟解码器没关系了，想象轨迹完全在隐状态上演化。这也是“纯潜空间”的又一个体现：重建只是训练时的脚手架，想象和行为学习阶段根本不需要碰高维图像。

3. 行为学习：actor-critic如何用“梦”练级

3.1 训练主循环：收集、学模型、做想象

Dreamer的训练是一个三段式循环，我在复现的时候习惯把它理解成“一天的生活”：白天收集经验，晚上整理记忆，梦里磨炼技能。

第一阶段是数据收集。用当前策略在环境里跑，动作从策略分布里采样，自然带一些随机性，相当于探索。跑出来的轨迹塞进回放池。第二阶段是世界模型学习。从回放池里抽一批长度为L的序列，用BPTT训练RSSM，把前面说的那几块损失降到足够低。第三阶段就是“做梦”了。从回放池里随机抽一些历史状态作为起点，用世界模型在潜空间里rollout H步，在这段想象出来的轨迹上训练actor和critic。三个阶段循环往复，每采集一点新数据，就顺便更新几轮模型和策略。

这里有个关键点：actor-critic训练时，想象轨迹是被当作“固定数据集”用的，梯度不会穿回世界模型。就是说，潜状态序列、预测奖励这些都是stop-gradient的。原因很实在——如果真的让行为损失一路BPTT穿回世界模型，计算图会又深又复杂，显存爆炸不说，梯度还容易不稳定。把想象轨迹当成虚拟离线数据，更新时只动actor和critic自己的参数，效率高也稳得多。

3.2 梦里从哪里醒来：起始状态怎么选

想象不是每次从头开始。Dreamer从回放池里随机选一些真实轨迹的时刻，编码成隐状态，然后从这些隐状态出发往未来推。这个设计非常聪明，它相当于让智能体“从记忆中的场景开始做梦”，而不是每次都从零开始编一个剧本。好处有两点：一是起始状态来自真实分布，梦境更贴近现实；二是采样点足够分散，覆盖了各种状态，策略不容易过拟合到某一条固定开局上。

想象步数H也不能太长。模型预测误差会随步数累积，梦境越做越离谱，策略就会在“失真剧情”里学到错误行为。典型配置H在15步左右，既给了足够的未来视野，又不至于让误差滚到失控。我自己的体会是，H调大确实能让策略看得更远，但一旦超过某个阈值，训练曲线反而开始震荡，直觉是模型在远期的预测已经不可靠了。

3.3 λ-return与两个损失：梦里怎么打分

想象轨迹有了，怎么把它变成actor-critic的训练信号？Dreamer用的是λ-return，一套带加权的时间差分目标。对想象轨迹上的每一步，先算价值函数V(s_t)，再用递归方式计算λ-return：

V_λ(s_t) = r_t + γ * ((1-λ) * V(s_{t+1}) + λ * V_λ(s_{t+1}))

λ在0和1之间，λ=0退化成一步TD，λ=1变成蒙特卡洛累计。Dreamer取λ=0.95左右，相当于兼顾bias和variance。有了λ-return，两类损失就清楚了。critic的损失是让V(s_t)去回归λ-return，学一个越来越准的基线；actor的损失则是最大化优势加权的对数似然，再额外加一个小熵正则鼓励探索：

advantage = stop_gradient(lambda_return - value) actor_loss = -mean(stop_gradient(advantage) * log_prob) - entropy_scale * mean(entropy) critic_loss = mean((stop_gradient(lambda_return) - value) ** 2)

一句话总结就是：critic负责当裁判打分，actor负责在裁判打分下努力表演。因为想象轨迹是离线生成的，相当于有了源源不断的“练习赛”，actor和critic可以在梦境里翻来覆去地练，练完了再回真实环境拿数据修正世界模型，形成闭环。部署的时候不需要在线做任何规划搜索，拿着当前观测过一遍编码器，再用训练好的策略网络输出动作就行，推理速度非常快。

3.4 一个简化版的想象训练伪代码

顺手给出一段Python风格伪代码，把上面说的流程串起来，跑通这个就理解了八成的Dreamer：

# 假设 world_model, actor, critic 已初始化 for update_step in range(train_steps): # 1. 从回放池采样一批真实轨迹，训练世界模型 obs_seq, act_seq, rew_seq = replay.sample(batch_size, seq_len) train_world_model(obs_seq, act_seq, rew_seq) # 2. 从回放池采样起点隐状态，开始想象 starts = replay.sample_start_states(batch_size) state = encode_start(starts) rewards = [] values = [] actions = [] for h in range(imagine_horizon): action = actor.sample(state) # 策略产生动作 state = world_model.next_state(state, action) # 潜空间前推 rewards.append(world_model.predict_reward(state)) values.append(critic.value(state)) actions.append(action) # 3. 计算 lambda-return，更新 actor / critic lambda_returns = compute_lambda_returns(rewards, values) update_actor_critic(lambda_returns, actions, states)

4. 复现实操：配置、踩坑与调参心得

4.1 一份能跑起来的参考配置

把论文和常见开源实现里的代表配置整理成了一张表，我自己复现时基本就是从这张表起步的。特别注意：不同实现之间数值有出入很正常，以官方仓库配置为准，表格只是帮你圈出合理的搜索范围。

世界模型和actor-critic用不同的学习率是有讲究的。世界模型承担的任务更基础，要尽快学会环境动力学；而actor-critic是在“想象数据集”上训练的，学习率太高容易在虚拟分布上过拟合，导致真实环境里一测就翻车，所以要压得更低。训练节奏上，初始阶段建议先用随机策略收集一段时间的“预填充”数据，让世界模型有足够素材入门，再启动完整的三段式循环，模型没学好之前别急着让策略酸爽地想象。

4.2 我实际踩过的几个坑

第一个坑是像素输入的图像尺寸。图像越大，世界模型的编码器和解码器就越重，训练越慢，显存压力越大。一开始直接上大分辨率，半天训不动一步。后来把输入缩到一个合理的小尺寸，跑通流程再看要不要加分辨率。别小看这一步，它直接影响你能不能快速验证代码逻辑对不对。

第二个坑是奖励不归一化。有些任务的奖励范围很宽，奖励预测头直接回归标量时会剧烈震荡，进而污染λ-return和策略梯度。V1时代常见做法是奖励做缩放或者干脆在实现里加一层归一化处理，复现时如果发现想象里的rewards乱飞，先查这一层。

第三个坑是KL和free bits的关系。我把free bits设成0跑过一次，结果隐状态很快退化，重建越来越差但损失却降不下去，因为后验已经完全塌陷成先验了。调回1.0之后一切正常。如果你观察到的隐状态序列几乎不变，后验塌陷是头号嫌疑。

第四个坑是训练显存。序列长度50、batch 50的BPTT，在像素任务下非常吃显存。显存不够时优先降batch而不是降序列长度，序列太短会让世界模型学不到长程依赖，模型质量会明显变差。

4.3 常见问题排查速查表

5. DreamerV1之后：这条路线带来了什么

5.1 历史定位：从“规划”到“学会规划”

在Dreamer之前，同团队的前作PlaNet已经把“在潜空间做规划”这条路趟开了，但它属于MPC式的方法：每次决策时都要在潜空间里搜索一大批候选动作序列，挑最好的执行。问题也很明显，在线规划很贵，而且每步都要重复搜索。Dreamer的关键变化是把“搜索”变成了“学习”——不再在线规划，而是让actor-critic在离线想象中直接把最优行为模式学进神经网络里，部署时一次前向就出动作。

这个转变在架构上的分量很重。它证明了学出来的世界模型不只能短期用，还能作为长期的行为学习基础设施。策略和价值函数可以在梦境里反复训练，真实交互只负责持续校准世界模型。这种“真实环境少量采样+虚拟想象大量训练”的范式，把交互成本和计算成本重新做了分配，对后来整个MBRL研究方向的走向影响非常大。

5.2 后续演进：从V1到V2、V3

DreamerV1之后，研究团队并没有停下。V2把潜变量换成了离散化的表示，配合类别分布采样，在图像输入的任务上拿下了更亮眼的成绩，也把适用范围扩展到了Atari这类离散控制游戏。V3则是在稳健性和规模化上做文章，引入了一大套针对奖励稀疏、量纲差异、网络规模的经验设计，让同一个算法不用调参就能横跨很多不同类型的环境，“一个算法打天下”的味道越来越浓。

但不管怎么演进，V1定下的三根柱子始终没动：用世界模型压缩观测、在潜空间里想象未来、用想象出来的轨迹训练行为。所以我说理解V1，等于拿到了理解这一整个算法家族的地图。后面版本加的更多是工程技巧和稳健性补丁。

5.3 现实落地的一点看法

Dreamer这套思想离实际应用并不远。机器人领域特别适合，因为真实机器人的试错成本高，世界模型可以先在少量真实数据上学习，再在潜空间里拼命想象，极大缓解了样本瓶颈。游戏AI、仿真环境里的决策智能体也都在用类似思路。但落地时要想清楚三个问题：一是模型偏差，世界模型学不准的部分会直接污染策略，必要时要给预测留不确定性余地；二是安全约束，想象里可以为所欲为，真实环境不行，上线前必须加保护层；三是分布偏移，真实环境和训练分布一旦偏差变大，世界模型和策略都要重新校准。

我自己复现DreamerV1最大的感悟是，它真正把“想象”从一个科幻概念变成了可计算的工程模块。你不需要去拟合未来每一帧图像，只需要在压缩空间里把关键信息演化准确。这个认知放之四海而皆准，做机器人、做游戏、做任何决策系统，本质都是先建立一个够用的世界模型，再在里面大胆地模拟未来。

最后分享一个实用小建议：第一次上手Dreamer，别直接挑战像素级复杂任务。先挑一个state-based的连续控制小任务，把数据收集、世界模型训练、想象训练这条主链路全部跑通，确认损失曲线正常、测试分数能涨，再切换到像素任务。主链路不通之前，任何花哨的技巧都是白搭，而一旦通了，你会亲眼看到“梦境训练”带来的收益有多大。