企业官网建设流程全解析

论文笔记：Refined Policy Distillation：From VLA Generalists to RL Experts

背景

机器人学习近年经历了一次范式迁移：从针对单一任务训练 RL 专家策略，转向用模仿学习训练大型通用 VLA 模型。VLA 好训练、一个模型能覆盖多种真实操作任务，但它的两个代价同样明显：

• 数据昂贵。VLA 依赖大量人类专家示教（遥操作采集），性能上限被训练数据的数量和多样性锁死；与 NLP 不同，机器人领域"造数据"意味着真人遥控机器人录轨迹。
• 泛化脆弱。换环境、换相机视角常常需要重新微调，又得再录一批示教。

RL 本可以是互补的路线——自主交互、自造数据、策略网络远比 VLA 紧凑、推理更快——但它自身的问题也致命：对超参数极其敏感、需要大规模状态空间探索、样本效率低到几乎无法在真机上执行，因此严重依赖仿真环境并留下 sim-to-real 鸿沟。

于是问题变成：能不能让两者互补——用 VLA 的通用知识去引导 RL 的探索，同时用 RL 的自主交互去突破 VLA 的性能上限？此前 Xu 等人的 RLDG 走的是反方向（用已训好的 RL 专家给 VLA 微调造数据），仍然需要先有一个 RL 专家；而经典 Policy Distillation 一脉（DQN→PPO、PPD 等）只蒸馏 RL 教师到 RL 学生，从未处理过"通用 VLA 教师 → RL 专家学生"这个方向。

论文链接：arXiv:2503.05833（Nuremberg 技术大学，代码/数据/checkpoint 全开源）

中心思想

RPD（Refined Policy Distillation）要同时拿到两边的长处：

1. VLA 教师引导 RL 探索——VLA 在大规模数据上学到的通用任务知识，可以在它自身成功率很低甚至为零的情况下，仍为 RL 提供有价值的动作先验；
2. RL 学生自主探索——学生直接与环境交互并用奖励优化，因此有机会超越教师，“精炼”（refine）出一个真正的任务专家。

第二点是它与所有监督式蒸馏的分水岭：标准 BC 的学生不可能超过教师，而 RPD 学生在所有实验中都最终越过了教师线。其机制值得说透：教师给出的 MSE 引导只作用于策略的动作均值，且与 PPO 目标是相加而非约束关系——当环境奖励指出比教师更好的动作时，L RL L_{\text{RL}}LRL​可以压过L MSE L_{\text{MSE}}LMSE​，学生沿奖励方向偏离教师；教师的动作只在探索阶段提供"往哪走"的偏置，而不是终身的硬约束。此外，论文还观察到"教师成功率低 ≠ 教师动作没价值"：VLA 可能走到任务最后一步才犯错，此时成功率为零，但沿途动作对学生仍是好的引导信号——这解释了为何降级后的 VLA 仍能带出比自己强的学生。

实现上，RPD 只是对 PPO 的损失函数做了一处小修改。

主要方法

1. 联合目标：PPO − MSE

RL 部分建模为标准 MDP，策略π θ ( a t ∣ s t ) \pi_\theta(a_t|s_t)πθ​(at​∣st​)以折扣累积奖励最大化为目标；BC 部分采用对数似然目标。在高斯动作分布假设下，BC 目标可化简为两分布均值之间的 MSE（方差项视为常数并忽略）。于是总目标为：

L RPD ( θ ) = L RL ( θ ) − L MSE ( θ ) L_{\text{RPD}}(\theta) = L_{\text{RL}}(\theta) - L_{\text{MSE}}(\theta)LRPD​(θ)=LRL​(θ)−LMSE​(θ)

其中 PPO 项就是未经任何修改的标准裁剪代理目标：

L RL ( θ ) = E t [ min ⁡ ( r t ( θ ) A ^ t , c ( r t ( θ ) , 1 − ϵ , 1 + ϵ ) A ^ t ) ] L_{\text{RL}}(\theta) = \mathbb{E}_t\Big[\min\big(r_t(\theta)\hat{A}_t,\; c(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t\big)\Big]LRL​(θ)=Et​[min(rt​(θ)A^t​,c(rt​(θ),1−ϵ,1+ϵ)A^t​)]

r t ( θ ) = π θ ( a t ∣ s t ) π θ old ( a t ∣ s t ) r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}rt​(θ)=πθold​​(at​∣st​)πθ​(at​∣st​)​

MSE 引导项对齐学生的动作均值与教师动作的期望：

L MSE ( θ ) = E t [ ∥ μ ( π θ ( a t ∣ s t ) ) − E [ a t VLA ] ∥ 2 ] L_{\text{MSE}}(\theta) = \mathbb{E}_t\Big[\big\lVert \mu(\pi_\theta(a_t|s_t)) - \mathbb{E}\big[a_t^{\text{VLA}}\big] \big\rVert^2\Big]LMSE​(θ)=Et​[​μ(πθ​(at​∣st​))−E[atVLA​]​2]

注意符号：PPO 项被最大化、MSE 项被最小化，所以 MSE 在总目标里带负号；整个L RPD L_{\text{RPD}}LRPD​由θ ∗ = arg ⁡ max ⁡ θ L RPD ( θ ) \theta^* = \arg\max_\theta L_{\text{RPD}}(\theta)θ∗=argmaxθ​LRPD​(θ)求解。实践中估计E [ a t VLA ] \mathbb{E}[a_t^{\text{VLA}}]E[atVLA​]时每个状态只采样一个教师动作就足够好——加大采样数会显著拖慢训练，得不偿失。

2. 为什么用 MSE 而不是 KL

这是论文最核心的消融结论之一，对应三个 RPD 变体（RPD-MSE / RPD-L1 / RPD-BC）与两个基线（PPO / PPD）在 PickCube 上的对比：

(a) 计算成本。KL 散度需要估计教师动作的分布——对每个状态从 VLA 采样多个动作（PPD 基线实现里采 10 个再拟合多元高斯），把 GPU 负载和显存按采样数成倍放大。MSE 只需一次前向。

(b) 分布形状失配。论文实测 VLA 的动作分布有时是双峰的。用高斯去拟合双峰分布会得到非最优参数；而 KL 恰恰要求师生分布形状相似才能收敛——这正是 PPD 基线在实验里完全学不起来的原因。MSE 只对齐均值，对分布形状不做假设。

© 约束强度与教师依赖。KL 强调整条分布对齐，约束更强，因而更依赖教师质量。RPD-BC 变体（朴素最大似然，带方差项）印证了这一点：方差项不断把策略标准差压小，导致对教师过拟合，最终停在教师水平附近、无法精炼——它相当于"没有精炼能力的蒸馏"。MSE 的弱约束给 RL 项留出了超越教师的空间。

实验结论：RPD-MSE 最好，RPD-L1 紧随其后，两者都显著快于、稳于 PPO 基线；RPD-BC 略超教师后停滞；PPD 无法把策略抬到教师线以上。

3. 学生网络与压缩比

学生不是一个小号 VLA，而是一个从零开始训练的 PPO 策略网络：输入图像（与教师相同的 human camera 视角、256×256）与状态，输出连续动作分布a = ( Δ x , Δ ω , gripper ) ∈ R 7 a = (\Delta x, \Delta \omega, \text{gripper}) \in \mathbb{R}^7a=(Δx,Δω,gripper)∈R7。论文没有给出学生的具体层数与参数量，只强调 RL 策略"参数远少于 VLA"（教师 Octo 93M、OpenVLA 7B）；架构采用 ManiSkill3 的 PPO 基线（CleanRL 实现），所有任务、变体与基线共用同一套网络与超参数，唯一改动是 batch size（为了把 VLA 塞进同一块 GPU）。学生因此没有任何预训练视觉先验——这一点后来在相机视角实验里变成了优势。

4. 实验任务与关键指标

评测在 ManiSkill3 上进行，共 8 个操作任务。一个绕不开的前置工作：原始 OpenVLA/Octo 在仿真里成功率全为 0（真机数据训练的 real-to-sim 鸿沟；即便换光追渲染，Octo 也只涨到 2%+），不足以当教师。因此作者先用 ManiSkill3 自带的 RL 生成的专家示教把两个 VLA 微调到可用水平（6 个任务入训练集、2 个 hold-out 测跨任务泛化）。

核心结果（5 seeds 平均）：

• 6 个 in-distribution 任务：RPD 全部快速越过教师线，收敛快于 PPO 且方差更小；RollBall 与 StackCube 上 PPO 用同样的超参完全失败，RPD 仍能拿到部分成功。
• 稀疏奖励：仅把γ \gammaγ从 0.8 改为 0.99。RPD 在全部 6 个任务上胜过 PPO，多数任务里 PPO 基线完全学不出来——教师引导让智能体能完整走完 episode、拿到驱动学习的终端奖励，这正是 RPD 收益最大的场景。
• 跨任务泛化（hold-out 的 PullCubeTool / PokeCube）：需要真正用工具的版本上 RPD 也学不动（教师给不出有意义的动作）；但把这两个任务理解为"带干扰物的 PullCube / PushCube"时，稀疏奖励下 RPD 成功学会并超过 PPO。
• 相机视角变化（PushCube 变体）：仅轻微改视角，OpenVLA 从 27% 掉到 4.5%、Octo 从 67% 掉到 0%（Octo 的视觉编码器较弱、疑似过拟合训练数据）。但 RPD 两个变体都超过 PPO——学生视觉编码器从零训练、对视角无偏置，而降级教师的动作仍提供了正确方向的引导偏置。

特点（优缺点）

优点

• 学生全面超越教师，且机制清楚：MSE 只软性引导动作均值，奖励项可压过它，学生沿环境反馈精炼出比教师更好的策略——这是纯监督蒸馏做不到的。
• 样本效率与稳定性显著提升。收敛更快、曲线方差更小；在稀疏奖励与 PPO 默认超参失效的任务（RollBall、StackCube）上仍能学出策略，说明教师引导真正改变的是探索效率。
• 对教师降级鲁棒。相机换视角后教师成功率近乎归零，学生照样训得动并超过 PPO——因为"低成功率"不等于"动作没价值"，学生消费的是动作方向而非最终成败。
• 改动极小、即插即用。只改 PPO 损失一项，所有超参沿用 ManiSkill3 基线；VLA 通过通用 HTTP API 接口接入（同机用共享内存避免图像序列化开销），任意 VLA 均可当教师。
• 开源完整：代码、数据、VLA checkpoint、视频全公开；顺带贡献了 Octo/OpenVLA 的 ManiSkill3 微调版本。

缺点

• 学生彻底失去通用性。每个任务单独训一个专家策略，无语言条件、无跨任务能力——它是"专家"而不是"模型"，压缩换来的是泛化能力的完全让渡。
• 教师质量是硬上限外的硬约束。论文自己在 Limitations 承认：若 VLA 因域偏移或任务完全没见过而给不出有意义动作，RPD 退化为一个普通探索组件，甚至可能拖累PPO（hold-out 工具任务的 dense 奖励实验里，vanilla PPO 反而更好）。
• RL 的根本开销没有消失。在线 RL 对复杂任务仍需百万级步数，真机部署依旧困难；论文的全部实验都在仿真中完成，sim-to-real 留作未来工作。
• 评测规模有限。8 个任务全部来自 ManiSkill3 的桌面操作、教师成功率整体偏低（最高 92%，多数任务个位数）；OpenVLA 因推理太慢（不支持批处理，4×H100 上跑 8 实例并行仍远慢于单卡 A40 的 Octo）只做了 RPD-MSE 的子集实验。
• 任务指标的坑。PullCubeTool / PokeCube 的稀疏奖励只看物体离目标的距离、不检查是否用了工具，导致"直接推/拉过去"也算成功，SR 数字虚高——论文自己披露了这一点，读表时必须留意。
• "每步一次教师采样"与高斯均值假设是效率与表达力之间的折中：教师分布若严重多峰，单样本估计的期望本身就噪声很大。

一句话总结：RPD 把"蒸馏"从静态的知识拷贝变成动态的引导探索——VLA 教师只用一次前向、一个动作样本，以 MSE 软约束学生的动作均值，把 PPO 从低效探索里捞出来；而环境奖励负责把学生推向教师够不到的地方，最终在稀疏奖励、视角漂移、教师近乎失效的场景下都训出了超过教师的紧凑专家策略。