企业官网建设流程全解析

摘要

视觉-语言-动作（VLA）模型已成为机器人操作的一个强大范式。尽管大规模预训练和监督微调（SFT）取得了实质性进展，但这些模型仍面临两个根本性挑战：（1）SFT 扩展所需的大规模人工操作机器人轨迹的稀缺和高成本；（2）对涉及分布漂移的任务泛化能力有限。

最近在大型推理模型（LRM）方面的突破表明，强化学习（RL）可以显著增强逐步推理能力。这自然引发了一个问题：RL 能否类似地增强 VLA 的长时程逐步动作规划能力？

本文提出SimpleVLA-RL，一个为 VLA 模型定制的高效 RL 框架。基于 veRL 框架，引入了 VLA 特定的轨迹采样、可扩展并行化、多环境渲染和优化的损失计算。应用到 OpenVLA-OFT 上时，SimpleVLA-RL 在 LIBERO 上达到 SoTA 性能，甚至在 RoboTwin 1.0 & 2.0 上超越 π0。此外，论文还发现了一个称为“pushcut”的新现象，即 RL 训练过程中策略发现了超越先前训练数据的新模式。

1. 研究背景与动机

1.1 VLA 模型的现状与挑战

当前 VLA 模型通常采用两阶段训练策略：

两个关键挑战：

1.2 LRM 的启示

DeepSeek-R1 等大型推理模型证明：仅依靠结果奖励的 RL 就能驱动显著进步，增强模型的逐步推理能力。

核心研究问题：

RL 能否类似地增强 VLA 模型生成准确动作的能力，同时帮助克服 SFT 的上述两个挑战？

1.3 VLA RL 的独特挑战

2. 预备知识

2.1 LLM 的 RL 形式化

2.2 VLA 的 RL 形式化

奖励函数：
R(ai,t∣si,t)={1任务成功0否则R(a_{i,t} \mid s_{i,t}) = \begin{cases} 1 & \text{任务成功} \\ 0 & \text{否则} \end{cases}R(ai,t​∣si,t​)={10​任务成功否则​

其中α\alphaα平衡结果奖励和过程奖励（本文采用纯结果奖励，α=1\alpha=1α=1）。

2.3 GRPO（Group Relative Policy Optimization）

GRPO 是 DeepSeek 提出的 RL 算法，消除价值函数，通过组内相对归一化计算优势：

3. SimpleVLA-RL 方法

3.1 交互式 VLA Rollout

LLM vs VLA Rollout 对比：

VLA 动作解码策略兼容性：

本文选择：采用 token 生成方法，输出动作 token 概率分布，使用随机采样生成多样化轨迹。

3.2 结果奖励建模

核心设计：使用简单的二元结果奖励（成功=1，失败=0）

奖励分配：轨迹级奖励均匀传播到每个动作 token。

3.3 探索增强策略

问题：VLA 模型倾向于收敛到狭窄的解决方案模式，限制 RL 效率。

三种增强策略：

3.4 训练目标

最终损失函数：
J(θ)=Es0∼D,{ai}i=1G∼πθold[1G∑i=1G1∣ai∣∑t=1∣ai∣min⁡(ri,t(θ)A^i,clip(ri,t(θ),1−ϵlow,1+ϵhigh)A^i)]\mathcal{J}(\theta) = \mathbb{E}_{s_0 \sim \mathcal{D}, \{a_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( r_{i,t}(\theta) \hat{A}_i, \text{clip}(r_{i,t}(\theta), 1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}) \hat{A}_i \right) \right]J(θ)=Es0​∼D,{ai​}i=1G​∼πθold​​​​G1​i=1∑G​∣ai​∣1​t=1∑∣ai​∣​min(ri,t​(θ)A^i​,clip(ri,t​(θ),1−ϵlow​,1+ϵhigh​)A^i​)​

关键修改：

• 移除 KL 散度正则化（参考 DAPO）
• 动态采样约束：0<∣{成功轨迹}∣<G0 < |\{\text{成功轨迹}\}| < G0<∣{成功轨迹}∣<G

4. 实验

4.1 实验设置

基准测试：

RoboTwin2.0 任务分类（按步数/规划长度）：

主干网络：OpenVLA-OFT（LLaMA2-7B + 动作 tokenization + 并行解码）

训练配置：

4.2 主要结果

LIBERO 结果：

RoboTwin1.0 结果（平均成功率）：

RoboTwin2.0 结果（按任务长度）：

5. 分析

5.1 克服数据稀缺

设置：仅用每条任务 1 条演示进行 SFT（One-Trajectory SFT）

LIBERO-Long 结果：

关键发现：

• One-Trajectory SFT + RL 甚至超过 Full-Trajectory SFT
• 性能差距仅 2.2%（96.9% vs 99.1%）
• RL 可显著缓解 VLA 训练的数据稀缺瓶颈

5.2 泛化能力分析

设置：9 个 seen 任务训练，1 个 unseen 任务评估

主要发现：

结论：RL 使 VLA 模型能够保留已有能力，同时学习可泛化的技能。

5.3 真实世界实验（Sim2Real）

任务：Stack Bowls, Place Empty Cup, Pick Bottle, Click Bell

结论：大规模仿真 RL 训练显著提升真实世界性能，展示了低成本扩展真实世界策略的可行路径。

6. 讨论

6.1 “Pushcut”：RL 中的新模式涌现

观察现象：在 RoboTwin2.0 的 “move can pot” 任务中：

类似现象：“place a2b right” 任务中，RL 模型学会直接推动而非抓取放置。

意义：

• 类似 DeepSeek-R1 中的“Aha Moment”
• 结果奖励设计避免了过程约束，赋予智能体更大的探索空间
• 成功行为通过正向奖励被强化，低效行为被淘汰

6.2 SimpleVLA-RL 的失败模式

关键发现：模型先验是决定 RL 有效性的关键因素

结论：

• RL 完全失败：当基础模型无任务能力时（0% 成功率）
• 强初始能力 → 更大 RL 收益
• 存在性能阈值：初始能力太低时，RL 改进微乎其微

7. 核心创新总结

8. 局限性与未来方向

9. 结论

本文提出的SimpleVLA-RL是一个为 VLA 模型定制的高效在线 RL 框架。通过将 GRPO 算法适配到 VLA 的交互式 rollout 场景，并引入探索增强策略，在多个基准测试上达到 SoTA 性能。

三大核心贡献：

1. 数据效率：每条任务仅需 1 条演示，RL 可将 LIBERO-Long 成功率从 17.3% 提升到 91.7%
2. 泛化能力：RL 训练避免 SFT 的过拟合问题，在未见任务上持续提升
3. Sim2Real：仿真 RL 训练显著提升真实世界性能（+21%）

Pushcut 现象展示了 RL 发现超越演示数据的新策略的潜力，为 VLA 的自主进化提供了新思路。

10. 资源

• 📄论文标题：SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning
• 👨‍🔬作者：Haozhan Li, Yuxin Zuo, Jiale Yu 等（清华 + 上海 AI Lab + 上交 + 北大 + 港大）
• 🔗代码开源：PRIME-RL/SimpleVLA-RL