企业官网建设流程全解析

基于时间粒度对齐、动作空间解耦与训练测试一致性的世界动作模型新框架

来源：AMAP CV Lab, Alibaba Group | arXiv:2607.00678v1

**移动操作（Mobile Manipulation）**被普遍认为是通用机器人所需的关键能力之一。该能力要求机器人在复杂环境中既能够完成导航移动，又能够执行精细的物体操作，并在长时程任务中保持上下文一致性与动作连贯性。然而，现有的具身智能学习方法在处理这一问题时仍面临显著挑战。传统的视觉-语言-动作（VLA）策略通常属于反应式范式，缺乏显式的世界建模能力；而现有的世界动作模型（World Action Models, WAMs）在结构设计上尚未充分适配移动操作的需求，往往基于粗粒度的视频片段进行建模，将导航与操作动作耦合在一起，并在训练过程中使用与自回归推理不一致的监督信号。

针对上述问题，阿里巴巴AMAP CV Lab研究团队提出了ABot-M0.5。该模型建立在三项核心洞察之上：移动操作需要在时间粒度、动作空间与训练测试一致性三个层面实现对齐。通过引入帧级潜在动作（Intermediate Latent Actions）作为视频隐变量与机器人控制之间的桥梁，采用双层混合Transformer（Dual-Level Mixture-of-Transformers）对异构动作子空间进行解耦，并提出了Dream-Forcing训练策略以逐步在模型自生成的视频上训练逆动力学模型，ABot-M0.5在多项具有挑战性的移动操作与精细操作基准测试中取得了领先性能。

一、移动操作中的三重结构性瓶颈

在现有的世界动作模型框架中，移动操作并非简单被视作静态操作的时长延伸。由于机器人需要在移动过程中持续与环境发生交互，其世界演化、动作生成与部署推理之间存在着更为严格的结构要求。研究团队通过系统分析，识别出限制现有WAMs在移动操作场景中性能的三个核心瓶颈：

时间粒度失配

现有WAMs通常对时间压缩后的视频片段进行建模，而机器人控制需要在每一帧或每一个控制步上生成动作。粗粒度的世界建模容易平滑掉关键的局部动态，如接触起始、抓取闭合、对齐修正等。

动作结构失配

移动操作引入了异构动作空间：底盘移动通常是低频、平滑且面向全局的；而手臂操作则是高频、局部且接触密集的。将二者纳入单一耦合的动作空间进行优化，会导致梯度干扰与特化困难。

训练条件失配

训练时逆动力学模型通常以真实的未来观测为条件；而在推理时，模型只能依赖自身生成的未来视频，其中包含噪声、模糊与物体漂移等误差。这种分布差异在长时程任务中会不断累积。

上述三重瓶颈揭示了一个共同模式：现有方法在结构上未能与移动操作的本质需求充分对齐。ABot-M0.5的设计正是围绕这一观察展开，通过系统性的架构创新与训练策略调整，实现世界建模、动作抽象与部署时行为在统一框架内的协同一致。

二、模型架构：三层级联与双重解耦

ABot-M0.5基于Wan2.2视频扩散骨干网络构建，是一个联合建模未来视频隐变量、帧级潜在动作与可执行机器人动作的统一生成式框架。在感知阶段，三维变分自编码器（3D VAE）将多视角视觉观测压缩为时空视频隐变量，文本编码器将语言指令编码为条件特征。模型的生成过程遵循一个结构化的三级级联：

**级联流程：**Context → 世界建模（zt+1）→ 动作抽象（mt）→ 控制解码（at）

其中，zt+1表示未来视频隐变量，mt表示帧级潜在动作，at表示可执行动作。该分解将直接的视频到动作映射转化为视频到潜在动作、再到动作的分层管道，使模型能够从粗粒度视觉动态中恢复运动意图，并将其转化为具体的底层控制信号。

图1：ABot-M0.5整体概览。上图展示了三阶段训练流程（Pretrain、SFT1、SFT2），左侧与中间展示了时间对齐与动作空间对齐的设计，右侧展示了在仿真基准与真实机器人上的领先性能。

2.1 中间潜在动作：弥合时间粒度鸿沟

为了弥合粗粒度视频预测与细粒度控制之间的时间粒度鸿沟，ABot-M0.5引入了帧级潜在动作作为中间表示。这一设计的核心优势在于，潜在动作仅依赖于视觉状态转移，因此可以从大规模无动作标注的视频数据中提取，而不需要特定的机器人运动学标签。

具体而言，给定相邻帧（It, It+1），模型使用预训练的潜在动作编码器Em提取局部运动表示：

mt = Em(It, It+1) ∈ ℝdm

在多相机设置中，每个视角的潜在动作被组织为统一的时空张量。这种表示使得相似的物理交互（如抓取物体）在不同机器人形态下映射到潜在动作空间中的邻近区域，从而支持跨具身平台的物理先验迁移。潜在动作的生成采用条件流匹配（Conditional Flow Matching, CFM）进行优化，通过迭代去噪合成高保真度的潜在动作，捕获细粒度、与具身无关的运动意图。

2.2 双层混合Transformer：异构动作空间的结构化解耦

移动操作中的动作向量天然包含移动与操作两个维度，它们在时间频率与物理损失景观上表现出显著差异。为了对这一异构性进行结构化建模，ABot-M0.5提出了双层混合Transformer（Dual-Level Mixture-of-Transformers, D-MoT），在两个层级上实现解耦：

**模态级解耦：**模型并行处理三个令牌流——视频隐变量（Xz）、潜在动作（Xm）与可执行动作（Xa）。尽管这些流共享Transformer主干以进行跨模态推理，但每个模态配备独立的输入投影、时间步嵌入与输出头，确保世界动态、运动意图与硬件控制维持独立的表征空间。

**动作级解耦：**在可执行动作流内部，动作向量被显式分解为操作动作atmanip与移动动作atmove两个子空间。模型通过严格的通道到子塔分配机制，为每个子塔配备独立的前馈网络（FFN）与预测头，使底盘移动与手臂操作在优化过程中拥有独立的学习动态。

为了在不牺牲跨子空间协调性的前提下实现特化，D-MoT采用联合自注意力机制：在每一层，潜在动作、移动动作与操作动作令牌在统一注意力计算中交互，但随后的FFN变换保持分支独立。这种设计既支持基础移动与抓取操作之间的结构化协作，又避免了梯度干扰。

图2：ABot-M0.5整体架构。模型通过结构化、非对称的级联设计联合预测未来视频隐变量、帧级潜在动作与可执行动作，采用双层MoT实现模态与动作空间的解耦。

图3：双层混合Transformer（D-MoT）详细结构。架构在模态级别与动作级别实现解耦，同时通过共享注意力保留协调推理能力。

2.3 Dream Forcing：实现训练与推理的条件对齐

现有世界动作模型的训练范式主要分为两类：教师强制（Teacher Forcing）与扩散强制（Diffusion Forcing）。在教师强制中，动作模型以真实的未来视频为条件进行训练，而推理时只能使用模型自身生成的、带有误差的未来视频，存在严重的暴露偏差。扩散强制虽然通过联合去噪部分缓解了这一问题，但训练时视频与动作令牌可能处于多样且独立采样的噪声时间步，与推理时特定的去噪轨迹难以完全匹配，仍存在分布差异。

为此，ABot-M0.5提出了Dream Forcing训练范式。该策略不再以真实未来视频或任意加噪视频为条件，而是使用模型自身生成的未来视频（即"自梦境"视频）来训练动作预测器。这一设计使动作模型在训练阶段就暴露于与推理时相同类型的不完美视觉状态，从而学习在模型自身预测误差下的鲁棒动作生成。

具体实现上，Dream Forcing采用两阶段前向策略：

• 阶段A（并行推出）：

  模型执行标准前向传播，通过少量步去噪生成所需的梦境隐变量（ẑt+1, m̂t）。由于闭环机器人设置中历史片段持续由真实观测 grounding，仅需生成最新的未来片段，因此可采用并行生成策略提升训练效率。

• 阶段B（Dream Forcing）：

  模型执行第二次前向传播，以阶段A生成的梦境隐变量为条件预测动作。此时动作预测分布从pa(·|z≤t+1, m≤t, …)转变为pa(·|ẑt+1, z≤t, m̂t, m<t, …)，仅将未来条件替换为自生成版本，从而消除训练与测试之间的分布鸿沟。

图4：世界动作模型的三种训练范式对比。（a）教师强制以真实未来视频为条件；（b）扩散强制联合去噪但时间步组合难以复现；（c）Dream Forcing以自生成梦境视频为条件，实现训练与推理的严格对齐。

图5：Dream Forcing的两阶段训练策略示意图。阶段A执行标准前向传播生成梦境隐变量；阶段B以梦境隐变量为条件执行第二次前向传播预测动作。

三、渐进式训练范式

为了充分发挥ABot-M0.5的表征与生成潜力，研究团队设计了一套渐进式训练流程，从大规模世界建模逐步过渡到与推理一致的动作学习。整个流程分为四个关键环节：世界模型预训练、潜在动作模型预训练、渐进式监督微调，以及系统级效率优化。

3.1 预训练数据与视觉世界模型

预训练语料整合了OXE、OXE-AugE、Agibot-Beta、RoboCOIN、RoboMind、Galaxea、InternData-A1等大规模公开机器人数据集，涵盖多样化的具身平台、场景结构与操作动态。其中，Galaxea数据集特别包含了丰富的底盘移动任务，为移动操作提供了协调一致的导航与操作样本。

世界模型预训练以Wan2.25B权重初始化，在机器人数据上进行全参数微调，使其从互联网规模的时空先验适配到具身环境。针对异构数据集中相机配置差异显著的问题，模型采用固定的语义槽分配策略：定义四个规范视频槽位，前两个用于捕捉全局场景与机器人本体配置的第三人称视角，后两个用于捕捉精细手物交互的腕部视角。缺失视角以零张量填充并在注意力层中屏蔽，确保优化仅由真实视觉观测驱动。

3.2 潜在动作模型预训练

潜在动作编码器通过ALAM（Algebraically Consistent Latent Action Model）框架进行预训练。给定时序有序的三元组观测（oi, oj, ok），模型学习满足代数一致性约束的转移嵌入：

可加性约束：‖mik − (mij + mjk)‖2可逆性约束：‖mij + mji‖2

这些约束鼓励长时程转移可分解为短时时程片段，且正向转移与反向转移互为逆操作。预训练完成后，仅保留编码器Em作为离线特征提取器，为机器人轨迹生成潜在动作监督信号。这一步骤使模型能够从大规模视觉运动中获取知识，有效扩展了预训练的监督来源。

图6：ALAM模型结构。通过时空编码器提取潜在动作，利用向量量化与代数一致性约束（可加性、可逆性）构建结构化的潜在动作空间，再通过空间解码器重建视觉观测。

3.3 渐进式监督微调

监督微调阶段分为两个循序渐进的阶段，以实现从稳定学习到推理对齐的平滑过渡：

**阶段一（SFT1：联合世界模型与逆动力学微调）：**在此阶段，潜在动作预测与可执行动作预测均以真实的未来视频隐变量为条件。模型联合预测未来视频隐变量、潜在动作与可执行动作，总损失为三者损失的加权和。该阶段为动作学习提供了稳定的环境，使逆动力学模型能够专注于学习从未来世界演化与运动意图到可执行控制的映射，而无需补偿早期预测噪声。

**阶段二（SFT2：Dream Forcing推理对齐微调）：**当模型达到初步收敛后，训练过渡到推理对齐模式。此时，预测未来动作的条件从真实未来视频隐变量与潜在动作，替换为模型自生成的梦境版本。逆动力学模型因此学会容忍视频预测噪声、轻微物体漂移与不完美的未来推出条件，从而优化长时程性能而非单步预测精度。

图7：不同训练阶段的注意力掩码。（a）预训练阶段仅视频令牌可见；（b）SFT1阶段引入潜在动作与动作令牌，以真实未来为条件；（c）SFT2阶段以梦境隐变量为条件，实现训练与推理的注意力对齐。

3.4 高效结构化注意力与潜在增强

为了支持长序列多模态联合训练，ABot-M0.5引入了结构化稀疏自注意力模式，编码因果顺序、模态分离与条件可见性。为避免显式块掩码带来的计算浪费，研究团队将其重构为一系列稠密子问题，使用变长FlashAttention内核执行，在数学等价的前提下实现了约5倍的前向-反向传播加速。

此外，模型采用基于偏移的潜在增强策略：传统方法以固定步长H划分视频帧，而ABot-M0.5允许起始偏移s在{0, 1, …, H−1}范围内变化，使有效潜在分段数量增加H倍。该策略提升了时间多样性，并增强了对微小时间变化的鲁棒性。

四、实验验证与性能分析

研究团队在RoboCasa365、RoboTwin 2.0、LIBERO/LIBERO-Plus以及真实机器人平台上对ABot-M0.5进行了全面评估，涵盖长时程移动操作、多任务双手操作、组合式桌面操作与真实世界部署四个维度。

4.1 RoboCasa365移动操作基准

RoboCasa365是评估长时程移动操作的主要基准，包含原子任务、组合已见任务与组合未见任务三类。实验结果显示，ABot-M0.5在预训练设置下取得了40.4%的平均成功率，在已见原子任务上达到75.9%，在已见组合任务上达到38.3%。在更具挑战性的目标域评估（Target 100%与Target 10%）中，ABot-M0.5分别取得了54.2%与30.1%的平均成功率，显著优于GR00T-N1.5、Fast-WAM、Lingbot-VA等对比方法。

特别值得注意的是，在组合任务上的性能提升尤为明显。这类任务要求机器人在更强的视角变化、更长动作链与更严重误差累积的条件下执行，ABot-M0.5的优势表明该框架不仅改善了底层动作预测，更在结构性上更好地适配了长时程具身推理的需求。

图8：RoboCasa365基准测试结果可视化。展示了模型梦境视频与仿真执行视频的对照，涵盖整理面包篮、收集餐具、装饰煎饼、整理茶具等长时程移动操作任务。

4.2 精细操作与泛化能力

在RoboTwin 2.0多任务双手操作基准上，ABot-M0.5在清洁场景与随机化场景中分别取得94.0%与94.2%的平均成功率，表明模型不仅依赖于移动操作特有的结构，也能泛化到高维多任务操作场景。潜在动作抽象在缺乏移动性的条件下依然提升了精细控制生成能力，而推理对齐训练则增强了视觉扰动下的鲁棒性。

在LIBERO与LIBERO-Plus组合式桌面操作基准上，ABot-M0.5同样取得了具有竞争力的表现。特别是在LIBERO-Plus的零样本泛化测试中，模型在相机、机器人、语言、光照、背景、噪声与布局七种扰动条件下展现出稳健的泛化能力，在WAM类方法中表现突出。

4.3 消融实验：验证各组件贡献

消融实验系统地验证了三个核心组件的有效性：

**中间潜在动作的影响：**去除潜在动作流、直接从视频隐变量生成动作的基线成功率为87.60%。将多视角潜在动作与动作沿通道拼接（Channel Concat）的策略成功率为91.06%。采用三阶段分离策略（3-Stage Separate），为视频、潜在动作与动作分配独立的时间与模态标识，并施加结构化注意力掩码以防止表示泄漏，成功率提升至94.00%。

**动作解耦MoT的影响：**在RoboCasa365组合已见任务上，动作解耦的MoT取得0.48的成功率，优于模态级MoT基线的0.34。训练动态曲线显示，引入动作解耦后视频损失与动作损失的收敛速度均明显加快，验证了该设计在降低跨动作空间梯度冲突方面的有效性。

**Dream Forcing的影响：**从50k步的共享预热检查点出发，继续以标准范式训练5k步，成功率从67.55%下降至66.78%；而启用Dream Forcing继续训练5k步，成功率显著提升至70.56%。即使将标准训练延长至10k步，成功率也仅恢复至68.90%，仍低于Dream Forcing在半数计算预算下取得的性能。这表明Dream Forcing有效弥合了训练-测试差距，提升了动作预测鲁棒性。

图9：不同潜在动作嵌入策略的结构对比。（a）三阶段分离策略；（b）二阶段分离策略；（c）通道拼接策略。三阶段分离通过独立的令牌流与结构化注意力掩码实现最优性能。

图10：不同MoT架构设计的训练动态曲线。左图为视频损失，右图为动作损失。引入动作解耦的MoT后，收敛速度明显加快，表明该设计有效降低了优化难度。

4.4 预训练与注意力可视化

研究团队进一步量化了预训练对模型性能的影响。在RoboCasa365原子已见子集的目标域10%设置下，使用相同架构与微调协议，经预训练的模型在微调后取得49.0%的成功率，而从Wan2.2直接微调的模型仅取得17.8%，差距达31.2%。这表明预训练为模型提供了可迁移的视觉与交互先验，使下游适应更为高效。

通过可视化文本条件注意力图（以"Mug"为例），可以观察到预训练与微调如何逐步改善模型的注意力聚焦。原始Wan模型产生分散的注意力，常被背景干扰；预训练后，注意力向机械臂与交互区域转移；微调后，注意力进一步聚焦于目标物体及其操作区域，忽略了无关背景。这一渐进式的注意力对齐过程，直观展示了预训练与微调在视觉-动作对齐中的互补作用。

图11：不同训练策略下的文本-视频注意力图可视化。从左到右依次为原始Wan、Wan+SFT、预训练、预训练+SFT。随着预训练与微调的进行，注意力逐渐从分散状态聚焦于目标物体及其操作区域。

4.5 真实世界实验

在真实机器人平台（Agilex Piper 6-DoF单臂）上，研究团队评估了模型的物理迁移能力。实验仅使用每任务50条真实世界演示数据，测试了精细操作与长时程操作两类能力。

在精细的圆柱插孔任务中，ABot-M0.5取得了70%的成功率与96%的过程分数，高于对比方法π0.5（50%/90%）与Fast-WAM（30%/77%）。模型能够可靠地定位目标物体并在语言引导下完成精确插入，表明潜在动作表示有效弥补了粗粒度视频表征在捕获精细运动动态方面的不足。

在长时程任务（整理餐盘、摆放水果、叠杯、插花）中，ABot-M0.5展现了连贯的多阶段行为执行能力，成功率分别达到70%、80%、80%与60%，过程分数均保持在88%以上。相同模型在无需任务特定修改的情况下同时胜任精细操作与长时程任务，体现了双层MoT在分离不同模态与动作分布方面的灵活性，以及Dream Forcing在缩小训练-推理差距后带来的部署鲁棒性。

图12：真实世界实验结果。上图展示了五项任务的成功率对比，下图展示了过程分数对比。ABot-M0.5在精细操作与长时程任务中均取得了较优性能。

图13：真实世界实验可视化。展示了整理餐盘、摆放水果、圆柱插孔等任务的梦境视频与真实机器人执行视频的对照，体现了模型从仿真到物理世界的有效迁移。

五、总结与展望

ABot-M0.5通过系统性的对齐感知设计，为移动操作中的世界动作建模提供了一个统一的框架。三项核心创新——中间潜在动作、双层混合Transformer与Dream Forcing训练策略——分别对应解决了时间粒度失配、动作结构失配与训练测试条件失配问题。实验结果表明，该框架在RoboCasa365、RoboTwin 2.0、LIBERO/LIBERO-Plus以及真实世界任务中均取得了领先的性能，验证了其在长时程移动操作与精细控制中的有效性。

这些成果表明，将世界模型从静态操作扩展到移动操作，并非仅仅依赖于规模上的简单放大，而是需要通过未来预测、动作解耦与部署时行为的系统性工程对齐来实现。展望未来，该框架有望进一步扩展至更广泛的真实世界数据与多样化的机器人具身平台，并在开放域长时程任务中通过更高效的记忆机制实现长期上下文保持。同时，针对世界动作模型的规模化定律（Scaling Laws）研究，以及面向边缘设备的实时推理优化，也将是后续工作的重要方向。

本文内容基于论文《ABot-M0.5: Unified Mobility-and-Manipulation World Action Model》整理

具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html