企业官网建设流程全解析

最近不少做机器人和自动驾驶的朋友问我同一个问题：现在视频大模型这么强，世界动作模型为什么还有人要“不借”它，非要从头训？他们的困惑很直接——既然视频大模型已经能把未来画面生成得几乎乱真，那直接拿它当“世界模拟器”不就行了，何必自己从零搭一套训练管线。这个问题我琢磨了很久，也踩了不少坑，今天想把这套从头训世界动作模型的完整思路、方案选型和实操细节分享出来。

先说结论：视频大模型解决的是“画面像不像”的问题，世界动作模型解决的是“动作会带来什么后果”的问题。前者是生成器，后者是推演器。两者的数据形态、目标函数、评测标准完全不同。如果目标是让一个机器人学会“把杯子往左推3厘米”，视频大模型最多帮你画出杯子在左边的图，它并不理解中间那一下力是推大了还是推小了。世界动作模型要回答的是：给定当前状态和动作，下一时刻世界真实变化成什么样。这个回答必须可量化、可回传、可闭环。它能做机器人训练、自动驾驶前瞻、游戏NPC行为推演，甚至给策略模型当仿真器用。

这篇文章就围绕“不借视频大模型，世界动作模型从头训”这条技术路线展开，内容包括我选型时的思考、训练数据的组织方式、模型架构的设计、损失函数与评测指标的坑，以及几段从实操里磨出来的排查经验。适合正在做具身智能、机器人控制、自动驾驶决策或交互世界模拟的工程师参考，也对想搞清楚“世界模型到底在解决什么问题”的同学有帮助。

1. 先厘清：世界动作模型和视频大模型，根本不是一回事

1.1 视频大模型擅长的是“像”，不是“准”

视频大模型本质上是视觉生成模型。给它一段文本或一张起始帧，它输出一段视觉上流畅、纹理上逼真的视频。它的强项在于学习像素分布，生成的结果人眼看着很舒服。但“看着舒服”和“预测正确”之间隔着一条巨大的鸿沟。

举个例子，你给视频大模型一个“杯子从桌沿滑落”的提示，它可以生成非常像样的掉落画面，光影、倒影、碎片飞溅都可能很逼真。但它并没有在内部建立一个“重力加速度、桌面摩擦力、碰撞反弹系数”这些物理量的显式表征。它只是从见过的视频数据里，统计出了“杯子掉落大概长这样”的分布。换个刁钻角度，比如杯子滑到桌沿时正好被风吹偏了，视频大模型往往就懵了，因为它没见过多少这种样本，没有可用的分布去拟合。

世界动作模型要的是另一个指标：状态预测误差。把杯子的位置、速度、角速度作为状态量，给定一个动作（比如某个方向的推力，持续0.2秒），模型输出的下一时刻状态应该和真实传感器测出来的结果在厘米级、毫秒级上对齐。这不是“像不像”的问题，是“准不准”的问题。“像”可以用图像质量评价，比如PSNR、SSIM、FID；“准”只能靠数值指标，状态误差、轨迹误差、多步累积漂移。两套评价体系根本不是同一个维度，所以不能指望一个在像素空间做拟合的模型天然就能承担数值预测的职责。

1.2 世界动作模型里的“动作”，到底是什么

很多人一听“世界模型”就想到画面预测，这是误解。“世界动作模型”的关键词是动作，输入里必须有动作通道。

在机器人领域，动作可以是关节力矩、目标角速度、末端执行器的位移增量；在自动驾驶里，动作可以是方向盘转角加油门开度；在游戏和仿真里，动作可以是按键编号或摇杆方向向量。这些动作的共同特点，是它们都是环境变化的“因”。世界动作模型学的是“因果转移”：给定当前状态S_t和动作A_t，预测状态S_{t+1}的分布P(S_{t+1} | S_t, A_t)。

这个P不只是一个视频帧，它可以是一组低维状态量（位置、速度、力、温度、碰撞标记），也可以是一个隐状态向量，还可以是带有不确定性的分布。模型将所有可能的未来状态画成一条“动作之后的演化轨迹”，只有这样，下游的策略网络才能基于它做规划：试这个动作，看看会走到哪儿，再试那个动作，对比实验结果，选出最优的。

这里我用一个生活化类比：视频大模型像一个经验丰富的画家，你让他画烟，他画得很快，光影氛围都到位；世界动作模型像一个暖通工程师，你给他一栋楼的平面图和风机参数，他能告诉你每个房间的风量够不够，压损是多少，噪音超不超标。画家不负责数值正确性，工程师必须负责。做控制决策的人需要的是后者。

2. 为什么不直接借视频大模型：从“能用”到“可控”之间的三座大山

2.1 目标函数错位：像素分布和状态回归是两股劲

如果直接把视频大模型拿来微调成世界动作模型，第一道坎就是目标函数。

视频大模型训练时，主loss（损失函数）通常作用在像素空间。哪怕用了一些感知损失、GAN Loss、扩散损失，最终约束的仍然是“生成的图像/视频和真实样本在视觉上接近”。问题在于，视觉上的微小差异在人眼看来无所谓，但对状态预测却是灾难。

比如一个机械臂抓取场景，背景墙的纹理稍微偏差0.1，人眼看不出来，损失值可能也只在小数点后第三位波动，但机械臂末端坐标如果偏差1厘米，直接导致整个抓取动作失败。像素空间的距离度量无法有效惩罚“状态错了但画面看起来还好”的情况，因此模型优化方向会大量浪费在无关紧要的视觉细节上，而不是它真正该学好的物体位移、碰撞响应、接触力变化上。

换句话说，你用视频大模型当底座，等于让一个画家去考工程制图，他用最擅长的方式（素描排线、调色）去应对考题，而考题真正想考的是标注尺寸是否精确。画家的视觉表现力只会分散注意力，不会帮你提高精度。

2.2 条件注入的强度不一致：动作必须硬约束，而不是软提示

视频大模型对输入条件的理解往往是“软性”的。在文生视频或图生视频里，文字提示只是引导生成方向，模型可以选择性忽略部分细节，只要整体观感符合语义就行。但在世界动作模型里，动作是硬条件：S_{t+1}必须由S_t和A_t唯一决定，不能出现“模型觉得动作不重要，干脆自己脑补未来”的情况。

如果你用视频大模型的架构去做动作条件注入，通常得在cross-attention模块里把动作向量作为一个额外的conditioning输入。但这类机制在原始设计时是为文本、图像这类“提示”服务的，模型学到的是“提示可被忽略的鲁棒性”。当你需要把动作作为必须遵守的约束时，这种鲁棒性反而成了副作用。模型会倾向于输出平均的未来状态，也就是把所有可能动作产生的后果混在一起取折中，结果就是预测结果又钝又模糊，对任何单一动作都不准确。

从头训的模型就没有这个包袱。从一开始就把动作设计与自回归条件、状态token做严格绑定，强迫模型在每一个时间步都参考动作通道。这是架构层面“可控性”的本质保障。做机器人控制，你必须保证模型100%按动作指令推演，而不是80%看指令，20%猜。

2.3 数据形态的根本差异：没有动作标签的视频，只是“从前到后的像素串”

这也是最要命的。开源视频数据非常丰富，但绝大部分只有图像像素，没有同步记录动作通道。自动驾驶视频通常只记录当前画面，没有记录方向盘打了多少度；机器人操作视频也没记录每帧对应的关节力矩或目标速度。用这些数据训练出来的模型，只会学“下一帧大概长什么样”，因为根本没有动作标签让它学习“给定动作后状态怎么变”。

视频大模型的价值在于学习视觉先验，它知道一个“桌子”“杯子”“人手”在像素上大致长什么样，这对图像生成非常有用。但是世界动作模型对数据的要求是“必须同时有状态观测和动作标签，且动作与实际发生的环境变化严格对应”。这种数据只能从仿真环境、真实机器人遥操作、传感器同步采集系统里专门录制。这就说明为什么从头训不是“逆潮流”，而是因为数据形态上的断档，你没法直接把别人训练好的视频大模型拿来补上动作通道。

3. 从零训练世界动作模型的完整方案拆解

3.1 数据策展：没有动作标签，一切白搭

我动手的第一件事不是选模型结构，而是先确定数据怎么组织。这一步做不好，后面全是在错误的地基上盖楼。

世界动作模型的训练数据是一个个轨迹样本（trajectory），每个样本的格式可以简化成下面这样：

{ "observation": { "agent_position": [0.12, 0.45, 0.02], "agent_velocity": [0.01, -0.02, 0.00], "joint_angles": [0.1, 0.2, 1.3, -0.5], "image_feature": "path/to/encoded_feature.npy" }, "action": { "type": "continuous", "dim": 7, "value": [0.02, 0.01, -0.03, 0.5, 0.1, 0.0, 0.0] }, "next_observation": { "agent_position": [0.14, 0.44, 0.02], "agent_velocity": [0.03, -0.01, 0.00], "joint_angles": [0.12, 0.21, 1.31, -0.52], "image_feature": "path/to/encoded_feature.npy" }, "reward": 0.0, "done": false }

关键点有两个。

第一，观测不一定非要用原始图像。我做过几组对比实验，直接把原始图像像素塞进去，模型容量大量消耗在视觉纹理重建上，状态预测精度提升很慢。更好的做法是先用预训练视觉编码器（比如自监督训练出来的ViT）把图像压缩成特征向量，再和低维状态量拼接成观测token。这样既保留了视觉信息，又不至于让模型把注意力全花在“背景墙壁的纹理是不是完美重建”上。这也是世界动作模型的一个常见设计：不在像素空间做预测，而是学一个压缩的隐状态空间。

第二，动作必须和状态严格时间同步。仿真环境里的数据好办，所有状态的频率一致，但真实机器人系统里摄像头可能是30帧每秒，关节编码器和IMU可能是500赫兹，这两者之间要做同步和插值。我在这上面吃过亏，最初没有做插值对齐，直接把低频视觉特征和高频关节状态拼在一起送进模型，训练时loss怎么都降不下来。后来改成以高频通道为基准，对所有通道做时间戳对齐和线性/样条插值，收敛才恢复正常。

另外，数据不要只收集来自专家策略的轨迹，也要混入随机策略采集的轨迹。因为世界模型要学习的是完整的状态转移函数，专家轨迹只是状态空间里的极小一部分。如果训练数据只有“顺畅操作”的长轨迹，模型在遇到没见过的极端状态时就会胡猜。把随机动作、扰动操作、甚至人为制造的失败样本都塞进数据池，模型的泛化能力和鲁棒性会明显提升。

3.2 架构选型：自回归做主干，动作做硬硬编码

世界动作模型的架构选择，我比较推荐的做法是：自回归Transformer做主干，状态观测和动作作为输入token，输出下一时刻的状态token。

具体来说，输入序列长这样：

[CLS] [obs_token_1] [act_token_1] [obs_token_2] [act_token_2] ... [obs_token_T]

模型在训练时根据前面所有历史状态和动作，预测下一个状态的token分布。这里每一帧的观测不只依赖上一帧，还能通过self-attention看到更早的历史信息，比如物体在0到10帧内的运动趋势，从而推断动量、加速度，这比简单的“只基于上一帧做一步预测”的MLP结构强很多。

动作tokens需要和高维状态token长度对齐，所以我在实现里加了一个专门的Linear/MLP动作编码器，把原始动作向量映射到和状态embedding相同的维度，再以加法或拼接方式注入到对应时间步。注意，动作注入的位置必须是“每个时间步都注入”，而不是只在开头注入一次。试过只在开头注入，模型很容易退化成一个纯状态生成器，后面几步的动作完全被忽略，这显然不符合因果转移的定义。

为什么不主推扩散模型或状态空间模型？扩散世界模型生成的未来轨迹质量高、多峰性好，适合生成“多种可能的未来”。但在控制任务里，我们需要对给定动作做确定性预测，同时输出不确定性估计。扩散模型在采样时天然增加随机性，如果只是做仿真数据生成还好，一旦接入闭环控制，采样方差会让策略无法稳定决策。状态空间模型（如Mamba）计算效率高，适合长序列，但目前在半结构化和条件注入、灵活的token交互上不如Transformer顺手。所以我目前的基线是Transformer自回归，后续再根据需求引入扩散做多峰扩展。

模型参数量上，我做过1亿到10亿参数的对比。1亿参数在简单仿真环境（比如2D导航、机械臂pick-and-place）已经够用，但一旦加入视觉特征、复杂刚体动力学，3亿参数起步更稳妥。10亿模型在100小时仿真数据上训练，能明显提升长时程预测的稳定性。

3.3 损失函数与训练策略：状态空间回归为主，辅助分布约束

世界动作模型的损失函数设计很关键。我的核心做法是：

• 主损失：状态空间里的MSE（均方误差），让模型输出的下一时刻状态和真实传感器记录的下一时刻状态尽可能接近。
• 辅助损失：如果状态量的维度很高，可能还会加入一个小的KL散度项，用于约束隐状态分布不要过于发散。
• 可选损失：对动力学还原要求极高的场景（比如仿真资产构建），可以额外加物理一致性约束，比如物体不能穿墙、碰撞后的速度方向要与法向量关系一致。这类先验约束能大大减少模型在罕见状态上的荒谬预测。

训练策略上，我用了两阶段。

第一阶段是行为无关的阶段，只用随机策略或花样探索策略采集的数据，让模型学会大面上“环境怎么响应”。这一阶段相当于让模型熟悉物理规律，比如推一下会滑动、扔出去会抛物线。第二阶段再用专家策略、人类演示数据做细粒度微调，重点是学会在关键操作动作下状态的高精度演化。

另外，训练过程中要混合两种解码方式。一种是teacher forcing，输入真实的历史状态，预测下一步；另一种是free running，输入自己预测出来的状态作为下一步的观测，连续推演多步。如果只用teacher forcing，模型一进入闭环就疯狂累积误差；只用free running，训练不稳定，容易崩溃。我使用大约7：3的比例混合，训练初期teacher forcing多一些，随着loss下降逐步提高free running占比。

训练循环的伪代码大致长这样，供参考：

for batch in dataloader: obs_seq = batch["observations"] # [B, T, D_obs] act_seq = batch["actions"] # [B, T, D_act] target_seq = batch["next_obs"] # [B, T, D_obs] use_free_running = np.random.rand() < 0.3 pred_seq = [] current_obs = obs_seq[:, 0, :] for t in range(T - 1): action = act_seq[:, t, :] pred_state = model(current_obs, action) pred_seq.append(pred_state) if use_free_running: current_obs = pred_state.detach() else: current_obs = obs_seq[:, t + 1, :] pred_seq = torch.stack(pred_seq, dim=1) loss = MSE(pred_seq, target_seq[:, :T-1, :]) loss.backward() optimizer.step()

这里有个细节值得说，free running预测时传给下一步的pred_state要不要detach。我的实践是detach掉，否则梯度经过多步反传会非常爆炸，训练稳定性差很多。如果你想更进一步做“可微仿真”，让梯度流过多步来优化策略，那是另一个课题，但训练世界模型本体时，还是detach更稳。

3.4 评测指标：不能只看生成效果，要盯着“闭环预测误差”看

做世界动作模型最怕的就是拿“看起来不错”当好消息。视频模型的评测可以看FID、FVD，但世界动作模型的评测必须围绕“状态预测准不准”来设计。

我常用的评测指标分成四个层级：

我特别想强调多步轨迹误差。世界动作模型最大的价值在于让策略“在想象中预演过程”。如果模型单步误差很小但50步后轨迹已经飘到完全不合逻辑，那它在规划里基本没用。我曾经训练了一个模型，单步准确率高达98%，但把它连续自回归50步后，机械臂的末端位置漂移出了整个工作空间。原因就是单步误差在闭环里不断累积，时间一长模型产生幻觉状态。后来靠加重free running占比、加入状态修正项才逐步缓解。

评测时还有一点要注意：闭环评测和开环评测要分开跑。开环评测是拿真实历史轨迹的每一步作为模型输入，只看下一步预测准不准，这个指标代表模型“知觉”能力；闭环评测是拿模型自己的预测喂回输入，连续推演很多步，代表模型对“世界怎么演化”的内部一致性理解。拿一个代表不了另一个，正式汇报时要把两个指标都写上。

4. 实操中最常踩的坑和排查实录

4.1 数据时间戳没对齐，训练loss卡全程不降

这是我在真实机器人数据上遇到的第一个大坑。初始采集时，图像通道是30Hz，关节编码器是125Hz，力传感器是500Hz。我没有对各通道做高频插值对齐，而是直接把图像帧和最近的关节状态拼一起。结果训练时训练集loss卡在0.03下不去（同期工作在类似隐藏空间中收敛到0.01以下），模型预测的动作响应相位明显滞后。

排查思路：先看一条样本的预测曲线和真值曲线，发现预测的变化趋势总是比真值慢半拍。这就基本锁定是时间错位，而不是模型能力不足。后面我把所有通道统一重采样到100Hz，用样条插值补齐图像特征，同时每个样本在切分时额外保存一个时间戳字段，供采样对齐。修完这个，训练loss立刻下降了一个数量级。

经验：所有多传感器数据在送进模型之前，必须先做时间对齐和质量检查。哪怕只是画几条简单曲线对比数据，也能省出好几天的调参时间。

4.2 动作被模型忽略，预测退化成“平均未来”

训练中另一类典型问题：模型学会了预测一个“看起来还行”的状态，但这个状态其实不是动作应有的结果。比如给定“向左推”和“向右推”两个动作，模型预测出来的下一个位置竟然差不多，都在中间一带。这说明动作条件没有被有效利用。

我当时排查动作注入模块的梯度，发现动作encoder的梯度范数相比主干梯度太小，模型学了几百步后动作embedding几乎没有变化。原因有两处：一是动作维度太低，又没做归一化，模型很快遍历完所有样本后，注意力对动作token的依赖变弱；二是注入位置在Transformer最底层，高层注意力基本只关注观测序列，动作信号被稀释。

解决办法：动作向量做LayerNorm归一化；把动作编码从底层注入改成“每层都注入”，也就是每一层Transformer block的输入里拼接动作embedding，并通过门控机制决定它对当前层的影响强度。这样动作信号能随着层数加深一直存在，不会在某个阶段被淹没。改动之后，模型对动作的响应灵敏度明显提升。

4.3 长时程预测崩溃，输出状态逐渐发散

我在仿真环境里遇到过一个很诡异的情况：单步误差已经降到很优，但连续预测200步后，物体速度一直偏大，最后直接飞出场景。把状态曲线调出来看，发现模型在预测时每步都给物体加了一点点加速度偏差，累积下来就是灾难。

这种问题通常有几个原因。一是训练时free running比例太少，模型不知道怎么处理自己的预测误差；二是损失函数给速度项的权重不够，模型在拟合“位置”时损失了“速度衰减”的物理规律；三是数据里缺乏长轨迹样本，模型从没在训练中见过超过50步的连续状态序列。

我当时的组合修复方式：把free running比例从30%提到50%，把速度分量的loss权重提高1.5倍，同时把所有轨迹样本按长度做动态截断，确保模型经常看到数百步的长序列。另外加了一个小技巧：在训练时人为往状态里注入微小噪声，模拟模型在闭环预测时可能遇到的不完美输入，让模型学出“抗噪”能力。这套组合拳下来，200步预测的发散问题基本解决。

4.4 “生成效果太好”的假象：小心验证集泄漏

还有一个很低级但容易被忽视的问题。我在做仿真数据切分时，一开始直接把连续采样的同一条轨迹段切到验证集里，导致训练集和验证集只有几个时间步的间隔。模型对这些轨迹段“见过亲戚”，验证误差非常漂亮，但一上真实环境就崩。后来我把同一场景、同一初始化条件下的所有轨迹打包切分，确保验证集合与训练集合由完全不同的场景来源。这样验证集才真正有意义。

这个坑在机器人、自动驾驶领域特别常见，因为连续传感器数据天然有强时间相关性。切分时宁可牺牲一点验证集大小，也要保证“场景独立”。用类聚方式按episode或scene分组进行切分。

这些坑让我养成了一个习惯：所有实验结果必须做闭环可视化，把真实轨迹和模型预测轨迹画出来，哪怕只是几条曲线，也能立刻看出模型预测的东西是否符合常识。

5. 世界动作模型后续可以怎么扩展：三个我看好的方向

一个很自然的扩展，是把世界动作模型和扩散头结合，做多模态未来预测。自回归主干提供因果约束，扩散头在隐空间里采样多种可能未来，然后通过动作序列给每种未来打分。这样既保留了“给定动作的确定性预测”，又有“多种可能世界”的表达能力。对自动驾驶这种存在多种交互策略的场景特别有价值。

第二个方向是模型即仿真器。世界动作模型训练完成后，可以把RL智能体的训练完全放在“模型生成的想象轨迹”里，而不是每次都跑重型物理引擎。这肯定能大幅降低仿真成本。但这要求模型预测的分布足够准确，否则策略会在不真实的状态分布上过拟合。这也是为什么我反复强调闭环误差、物理一致性这些指标，因为它们直接决定“想象数据”能不能用。

第三个方向是让世界动作模型反哺视频生成。既然世界模型已经在状态空间里学到了“物体怎么动”，那它生成的轨迹完全可以作为视频模型的条件骨架。具体来说，世界模型先决定这个动作会让杯子飞到什么位置、朝向、碰撞时间，视频模型再在这个骨骼上渲染出真实画面。这条路打通了“可控”和“逼真”两端，算是把视频大模型和世界动作模型真正衔接起来。

根据我的经验，如果你做的是内容创作、短片Demo，直接复用视频大模型毋庸置疑是对的，没必要自己训练模型。但如果你做的是机器人的真机部署、自动驾驶的控制策略评估、游戏里需要严格遵循物理规则的NPC决策，那“借”来的视频大模型很难让你可控。细究下来，世界动作模型这条从头训的路，是在为目标函数匹配、数据形态对齐、动作硬约束这三件事负责。这三件事，恰好就是控制系统落地时最避不开的问题。

最后再分享一个实操经验：从零训世界动作模型，别一开始追求大数据、大参数，先把最小可用的闭环评测搭起来。哪怕是在一个只有两三个物体、简单物理规则的仿真环境里，先打通“数据采集—模型训练—闭环预测—误差分析”这条完整链路，再把规模放大。我见过太多团队拿着几十TB数据、几百卡资源猛冲，最后连单步loss都分析不明白。世界动作模型的难点从来不只是“规模大”，还有一条条藏在物理细节和时序关系里的坑。先在最小场景里把这些坑摸透，放大后才会顺手。