企业官网建设流程全解析

前言

如此文《π0.5的KI改进版(已部分开源)——知识隔离：让VLM在不受动作专家负反馈的同时，输出离散动作token，并根据反馈做微调，而非冻结VLM》开头的最后所说，25年9.9日出差路上，惊喜的发现，π0.5做了部分开源

提到本次出差，确实是密集拜访客户、合作伙伴

1. 周二南京(海因邦姚)，​周三上海(凯傅透)
   9.11杭州(宇树)、徐州
   ​2/3是见我司自己的客户，1/3是合伙商
2. ​随后，9.15宁波，9.16无锡
   在宁波的时候，除了拜访一工厂之外，还约见了两位在宁波做汽车的
   1 他俩都因我博客认识，我当时还感慨，我博客也算是陪伴、帮助了好几代人，比如
   10 11最早的数据结构、算法
   12-22年的机器学习 深度学习
   23年的大模型
   24年起的具身智能，且如现场其中一位朋友所说的，现在车企会把具身模型迁移到自驾中
   2 在无锡的时候，则约见了一做自动加油机器人的朋友，个人看好轮式人形在自动加油、充电场景中的应用
3. 本来这周还计划去趟北京的，但因为这周末9 20/9 21，我司长沙分部将举办人形二次开发线下营，故改到下周 再去北京

巧的是，国内一家具身公司「自变量机器人」则于前一天开源了其自家的模型WALL-OSS，其与π0.5还是有一定的相似性的

本文特此来解读下

第一部分 点燃VLMs在具身空间中的潜力

1.1 引言与相关工作

1.1.1 引言

如原论文所说，在具身智能场景中，对齐的VLA数据既稀缺又异质，这使得从零开始的训练难以在动作模态上获得良好的泛化能力，同时也难以建立稳健的跨模态关联。这一现状促使研究者将强大的 VLM骨干迁移到动作空间中，例如OpenVLA (37) 和 π0 (12)，它们在学习跨模态对应关系的同时对连续动作进行建模，从而将视觉与语言先验（VL 先验）迁移到动作空间

一种朴素的微调策略——在预训练的 VLM 上附加一个动作头（action head），并用机器人轨迹对其进行监督——但如此 往往会导致严重的权重漂移，从而侵蚀原有的视觉-语言（VL）先验

π0.5的“知识隔离”（knowledge insulation）策略通过最小化对 VLM 参数的扰动来保留预训练能力；然而，作者认为这类松散耦合的架构设计限制了语义与控制之间的绑定关系，而且由于 VLM 本身在具身空间中的能力不足，当执行超出其 VL 先验范围的动作时表现不佳

总体而言，使用当前的 VLM 来学习动作是具有挑战性的，其根源在于以下三个基本鸿沟：

1. 模态和数据规模的差距
   得益于计算机视觉领域的长期发展，视觉编码器在提取特征时能够滤除高频噪声，同时保留高级语义；经过压缩的视觉tokens，再加上本就高度压缩的文本模态，使得在大规模网页图文/图像-视频对(58) 上训练后，可以通过CLIP 及相关多模态模型和VLM 实现对齐
   
   相较之下，具身空间中的动作在三维空间和时间上是连续的；与视觉模态相比，其特征提取缺乏长期的表征研究，其与文本之间的高层语义对齐也缺乏海量数据的驱动
   
   此外，在具身场景中，多个子任务和具体的场景级动作描述通常被抽象为单一的高层指令，进一步加大了跨模态关联的难度。基于流水线的智能体（先用LLM 分解指令，再调用技能库(6, 42)）受限于不可微接口和误差累积，在长时序任务上的成功率会下降
   此外，一些方法如3D-VLA（79）和PointVLA（41）尝试使用三维视觉模态作为二维视觉与动作之间的桥梁，但三维数据同样难以获取，而当前的三维视觉基础模型如VGGT（69）和π3（72）在细粒度动作预测所需的精度上仍然存在不足
2. 预训练分布存在鸿沟
   如图1所示，在大规模预训练之后，大型语言模型（LLM）在文本模态中基本能够满足具身语义的需求(如能够进行问答)
   
   然而，对于视觉模态，具身数据通常包含第一人称视角、鱼眼成像以及自身遮挡，这些特征与互联网图像存在显著差异
   因此，即使进行了大规模预训练，视觉语言模型（VLMs）在满足具身场景需求（例如具身VQA）方面仍然存在困难
   以往分析也报告了其在空间推理、具身场景理解以及过程跟踪等方面的不足（34,70）
3. 训练目标的鸿沟
   LLMs/VLMs 以离散序列的下一个 token 似然作为训练目标，而动作轨迹是连续的、高频的信号，更自然地适合用条件生成式目标来建模，比如扩散模型(30, 20) 或flow matching(44)，它们学习将基分布传输到动作分布的score/velocity 场
   
   然而，将这些目标直接嫁接到 VLMs 上会加剧 token 化鸿沟和独立性假设，从而导致灾难性的性能下降，削弱了语言-动作的对齐与泛化能力。这一现象类似于当前图像/视频领域统一生成与理解时面临的挑战
   
   一些方法（例如π0）尝试在自回归范式下在高层对动作进行离散化，以使动作token 与文本token 对齐，然后通过让来自扩散/flow-matching 的动作噪声通过自注意力(12) 与中间VLM表示交互，从而生成连续的动作信号
   然而，这类松散耦合的设计仍未能学到紧密的文本-动作绑定，导致指令跟随能力不足

为了解决上述问题，X SQUARE机器人团队提出了WALL-OSS，这是一种紧耦合的 VLA 基础模型及其训练方案

• 其对应的paper地址为：Igniting VLMs toward the Embodied Space
  其对应的作者包括
  Andy Zhai, Brae Liu, Bruno Fang, Chalse Cai, Ellie Ma, Ethan Yin, Hao Wang∗
  Hugo Zhou, James Wang,Lights Shi, Lucy Liang†
  Make Wang, Qian Wang, Roy Gan, Ryan Yu, Shalfun Li, Starrick Liu, Sylas Chen,
  Vincent Chen, Zach Xu
  †Project Lead,∗Correspondence
• 其对应的项目地址为：x2robot.com/en/research
  其对应的GitHub地址为：github.com/X-Square-Robot/wall-x，且于25年年底集成至lerobot中

具体而言

1. 他们首先引入一种紧耦合的专家混合（Mixture-of-Experts, MoE）架构和训练策略，在不同阶段采用不同的动作建模方法(离散或连续)，从而激活不同的专家并分配不同的权重，从而弥合训练目标之间的差距
   
   说白了，即是两个专家团队共享一部分核心认知能力(比如注意力机制SA)，但在执行各自任务时(或离散动作建模、或连续动作建模)，会调用自己的专属网络——VL FFN或Action FFN
   上图 没咋看明白 没事，具体下文会详解
2. 且将多模态任务与 VQA 任务及其面向具身性、空间定位和进度建模而构建的相应数据集相结合，以弥补 VLM 在具身场景中的不足，并在VLM 的输出空间中植入离散化的动作先验以进行粗粒度的动作监督，从而弥合 VLM 预训练分布上的差距

基于这些设计，作者建模统一的 CoT 正向映射，使模型能够将任务从高层语义分解到细粒度动作，迫使模型理解这一链条中各层级之间的关系，从而弥合模态差距

1.1.2 相关工作

首先，VLA 基线通过将动作编码为token 或学习连续头的方式，将VLM 与机器人控制对齐

• 涵盖连续模型（如扩散和流匹配，例如DP、Octo、π0, π0.5 (21, 65, 12, 31)）
• 或带有压缩的离散token 化（例如ACT、OpenVLA、FAST、RT-2）（78,37,56,84）

作者的方案遵循离散先验→连续控制：首先将离散动作先验植入VLM 输出空间（Inspiration），然后为高频动作优化一个流匹配头（Integration），同时，一个紧密耦合且采用静态路由的MoE 强化了语言与动作之间的强绑定

其次，对于利用机器人数据进行多模态协同训练

1. 为抵消机器人轨迹在成本和覆盖范围上的限制，多模态与跨来源协同训练是一种有效途径。从一个 VLM 初始化，并在网络图文、对话以及长视频与多形态机器人数据上进行联合训练，能够在注入具身空间语义的同时，保持开放世界的语言–视觉能力
2. 跨具身形态与跨环境的聚合进一步提升了迁移效果（23,65,12,31,33,9,13）
   ————
   作者的方法强调以统一格式进行具身认知监督，将指令、推理、子任务与连续动作联系起来；在两个阶段中系统性地统一开源动作数据，并通过分布混合与配额控制来限制漂移
   以及采用紧耦合、静态路由的MoE，将异构监督转化为在动作通道上可控的增益，从而提升在陌生场景和跨具身形态设置下的鲁棒性

最后，对于语言推理与子任务分解

1. 对于长时域任务，将高层推理与低层控制相结合可以提高成功率
   不同于将VLM规划器与独立控制器配对的流水线式设计（例如SayCan (7) 和Code-as-Policies (41)；以及Hi Robot (64)和GR00T N1 (53) 等分层变体），
2. 作者采用了单一模型的Uni-CoT方案，实现从指令到CoT、子任务及连续动作的端到端映射。这种方法补充了分层与动作语法方法（如RT-H（13））、最新的CoT控制方法（77,76）和提示框架（53），以及面向动作的指令微调（54）与分层目标条件策略（42）
   
   该模型可以选择包含或跳过中间步骤，并在推理与执行之间交替进行。结合作者的两阶段课程和紧密耦合的路由，这一统一设计减少了由接口导致的误差累积，并在复杂的长时域操作任务中增强了进度感知和指令遵循能力

1.2 WALL-OSS

1.2.1 模型架构

图2(a)和(b)展示了现有VLA模型的结构范式

• 在（a）中，混合设计直接将原始的 VLM 扩展为通过离散动作建模DAM——遵循下一个token预测范式，如 RT-2（84）和 OpenVLA（39）所示，或连续动作建模CAM来对动作进行建模
  
  然而，动作监督会显著扰动原始 VLM的权重分布，从而大幅削弱其在动作指令跟随与泛化方面的能力，导致对动作的过拟合
• 在（b）中，解耦式设计采用一个独立分支进行动作预测，该分支与 VLM 交互并从中抽取信息，正如 π0（14）所示
  其局限性在于，视觉和语言仅作为动作生成的辅助信号，这种松散耦合的架构削弱了动作预测的指令跟随能力——当然了，π0.5 改进了π0的指令遵循能力
• WALL-OSS的架构通过引入专家混合（MoE）（64）设计，将不同的前馈网络（FFN）分配给相应的训练任务，从而形成一种紧密耦合的跨模态结构，有效提升模型的跨模态关联能力

下图图3展示了WALL-OSS的整体架构。作者采用QwenVL 2.5-3B作为主要骨干网络

该模型以视觉输入（包括第一视角和手臂安装摄像头视角）以及文本指令作为输入，根据训练阶段生成不同的输出，同时在整个过程中始终以相同的多模态输入为条件。设，分别表示输入对及其VLM编码，其中表示具有参数的VLM 主干

1.2.2 训练方法：先启发、后集成

在对VLMs进行预训练之后，作者的预训练过程包括两个主要部分：VLM的启发以及三模态（视觉-语言-动作）的集成，如下图图4所示

首先是启发阶段

作者首先复用预训练视觉语言模型（VLM）的原始前馈网络（FFN），并通过引入具身视觉问答（VQA）来增强机器人环境中的空间推理能力

1. 训练目标包括掩码语言建模、图像/视频-文本对比学习、指令跟随以及时序顺序/因果关系建模，以构建强有力的具身视觉语言先验
2. 同时，作者引入了一个离散动作目标，将文本token与通过FAST分词（参见π0-FAST (14)）获得的离散动作token对齐：
   
   

该阶段使VLM具备粗略的、语义基础上的动作感知能力；其输出包括链式思维推理、子任务预测以及离散FAST动作token

比如

1. 高级指令：“整理一下书桌”
2. 思维链CoT：“我需要先识别哪些是垃圾，哪些是书本，然后把垃圾扔掉，再把书本摆放整齐”
3. 子任务规划及离散动作token：
   第一步，拿起桌上的废纸团
   第二步，把它移动到垃圾桶上方
   第三步，松开手爪

总之，具身VQA提升了VLM在具身环境中的空间理解能力，而FASTtoken预测则提供了粗略的动作理解。这为初始VLM注入了基本的具身推理与动作感知能力

其次是集成阶段

在已有先验的基础上，作者用流匹配实现的连续动作建模替代了离散动作预测，并将该阶段划分为两个阶段：

1. 冻结VLM，仅训练Action FFN下的流头
2. 解冻VLM，进行联合优化

在集成阶段，视觉、语言和动作表征通过注意力机制进行交互，同时采用静态路由器将以动作为中心的特征引导到Action FFN，将视觉-语言特征引导到Vision–Language FFN，而不是使用学习型的softmax/top-k路由器

在第一阶段——冻结VLM，仅训练Action FFN下的流头，作者生成带噪声的样本并回归速度场

通过梯度路由（对前一阶段的VLM执行停止梯度以缓解灾难性遗忘），以及（仅优化flow head和Action FFN）

来自Inspiration阶段的监督在此稳定了跨模态注意力，保留了视觉-语言先验，并为连续动作提供了可靠的初始化

在第二阶段，作者采用相同的流匹配目标对两个模块进行联合优化，并通过梯度路由和(解冻VLM并与动作分支联合训练)

这种集成方式使得在高度耦合的架构中能够输出细粒度的动作结果，促使模型融合多模态信息，高效完成多模态任务，从而实现不同模态间的对齐

此外，作者的方法将链式思维推理的概念从传统狭义的CoT（即大语言模型中的逐步文本推理）推广到广义的CoT，覆盖了从语义到感知-运动的完整谱系：指令→推理（CoT）→子任务规划→连续动作。这一统一的表述使得模型能够在分层抽象级别之间实现任意前向映射，从而在单一可微分框架内，无缝衔接高层推理与低层执行

1. 毕竟现有方法通常将这些层级分解为流水线式或多模块系统，其中指令首先传递给规划器以生成高层次计划，随后由控制器执行，例如 Hi Robot（9）和 GR00T N1（8）
   尽管这些范式在短期内能够显著降低训练和执行的难度，但它们引入了不可微分的接口，系统性能受限于各模块的能力，并且容易在各阶段累积误差
2. 相比之下，WALL-OSS采用了一个单一的端到端模型，该模型能够联合学习跨抽象层级的映射，支持灵活的正向任意映射
   具体而言，该模型可以根据任务复杂性和上下文需求，自适应地利用完整的中间推理步骤，或直接将指令映射为动作

形式上，设表示视觉输入，为语言指令，为可选的思维链，为目标动作轨迹。Uni-CoT 训练一个统一的预测器，采用路径丢弃目标，使模型能够灵活地基于中间推理或跳过中间推理进行条件推断

其中是一个具有监督的具身感知 VQA 头。该公式使得在单一模型中同时实现全链路和直接训练成为可能，从而确保端到端的可微分性，同时保留推理的灵活性

通过涵盖不同语义层级的映射，Uni-CoT

1. 通过具身 VQA 增强了 VLMs 的空间理解能力，从而实现更强的定位和动作预测
2. 显著提升了长时序任务的成功率和指令遵循能力

此外，如图 4 下部所示

在推理阶段，Uni-CoT 能够自适应地决定是否调用 CoT/子任务分解，甚至可以将推理与执行交替进行——在继续推理的同时，为已完成的子任务发出动作指令——从而为实时人机交互提供灵活的异步控制

// 待更