企业官网建设流程全解析

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间
猫先生
从零走向AGI
面试面经

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

Dex-One2Many详解：一条人类视频如何变成多种灵巧手行为

导读

Dex-One2Many 研究的是从单条人类示范视频学习灵巧操作。它没有把视频中的手部轨迹或物体轨迹当作模仿目标，而是让 VLM 从视频中抽出阶段化场景图：哪些手-物关系、物-物关系必须成立，以及这些关系按什么顺序出现。物体初始位姿、目标位姿、抓取方式和运动轨迹都允许变化。

方法是一条 real-to-sim-to-real 管线。VLM 先把人类视频抽象为阶段化场景图；每个阶段图作为生成约束，采样多样化物体位姿和多指抓取，并通过碰撞、稳定性和目标可达性检查；随后在仿真中用 PPO 训练以场景图构造 observation、reward 和 reset distribution 的策略。真机部署使用 UR3 + 20 自由度 Wuji 1 灵巧手，策略零样本迁移。

在五个真机任务上，Dex-One2Many 在视频未出现的初始位姿和目标位姿上取得 60–85% 成功率，基线最多 15%；四个不同臂-手本体的仿真平均成功率为 94.6–96.8%。核心结论是：从视频中保留“要完成什么”，让强化学习自己发现“怎么完成”。

猫先生认为，这篇论文的关键不是单视频学习，而是抽象层的选择。轨迹级指导降低探索难度但限制泛化；场景图级任务结构保留了任务约束，同时把执行自由度交还给 RL，这才可能从“复现一条动作”变成“解决一类配置”。

• 论文标题：Dex-One2Many: Learning Dexterous Manipulation from a Single Human Demonstration
• 论文地址：https://arxiv.org/abs/2610.12470
• 项目主页：https://dex-one2many.github.io/
• 论文 HTML：https://arxiv.org/html/2610.12470

原文脉络

论文先指出单视频灵巧操作中的两个矛盾：抽象太具体会变成动作复现，抽象太松又会加剧高维接触操作的探索难度。方法部分依次介绍阶段化场景图、场景图约束的强化学习和零样本 sim-to-real。实验回答三个问题：能否泛化到视频外的初始/目标配置；能否跨不同灵巧本体；哪些设计选择是关键。

1-2. 背景与相关工作：从模仿动作到学习任务结构

灵巧手数据采集成本高。遥操作接口难设计，动作又绑定特定机器人形态；人类视频则容易采集，且包含丰富的手-物交互信息。已有单视频方法通常提取物体轨迹、重定向手部运动或接触线索作为执行级指导。这些指导能缓解多指探索困难，却把策略绑定在视频展示的空间配置和抓取方式上。

论文将问题拆成任务抽象和困难探索。任务抽象需要决定保留什么、放开什么；保留太多会退化为动作重放，保留太少又无法定义任务。放开越多，探索空间越大，多阶段接触任务的强化学习越难。

已有工作从人类视频中提取关键点、关键帧、物体图或位姿轨迹，再通过变形或跟踪适配新场景。这些方法传递的仍是演示运动本身。Dex-One2Many 采用关系规格：场景图边上的谓词描述必须成立的关系，不携带视频中的坐标或轨迹。因此一张阶段图对应的不是一个状态，而是所有满足谓词的状态集合。

3. 方法：阶段化场景图与场景图约束的 RL

3.1 从人类视频到阶段化场景图

VLM 接收单条人类视频和预定义谓词词表，识别任务相关实体、功能部件以及它们随时间变化的关系。每个图的节点包括手、物体和功能区域；边表示grasp、contact、inside等必须成立的关系，以及pre_grasp、pre_inside等接近下一关系的信号。

当谓词关系发生变化时，方法引入新阶段。例如pre_grasp变为grasp时生成新阶段；后续阶段继续保留已建立的grasp和contact，直到新的inside关系完成。由此得到阶段图序列：

G 1 : K = ( G 1 , … , G K ) . \mathcal{G}_{1:K}=(\mathcal{G}_1,\ldots,\mathcal{G}_K).G1:K​=(G1​,…,GK​).

图 1：单条人类视频被抽象为阶段化场景图；场景图约束生成多样化 reset state，策略在仿真中学习并零样本部署到真机。来源：论文 Figure 2。

3.2 场景图如何构造 MDP

方法将策略学习写成有限时域 MDP：

M = ⟨ S , A , p , r , γ , ρ 0 , T ⟩ . \mathcal{M}=\langle \mathcal{S},\mathcal{A},p,r,\gamma,\rho_0,T\rangle.M=⟨S,A,p,r,γ,ρ0​,T⟩.

动作空间是期望的掌心和指尖速度，由底层 QP 控制器映射到关节速度。场景图同时决定 observation、reward 和初始状态分布。

Observation 由场景图节点和边构造：手节点提供机器人本体状态，物体节点编码几何和 6D 位姿，功能部件节点定位抓取区域或工作区域；边表示相连实体的相对 6D 位姿。因为编码规则跨任务共享，同一 observation 构造可直接用于不同任务图。

Reward 由谓词组装。几何谓词映射为距离函数，如pre_grasp使用到抓取区域的 3D Cartesian 距离，pre_inside使用到目标容器的距离；seat使用关节空间距离。grasp不用简单距离，而使用 CHORD 的 6D wrench space force-closure reward，并加入抓取质量项保证稳定。进入新阶段时，新谓词的 reward 加入任务 reward。

图 2：几何谓词映射为距离函数，阶段图决定 reward 组装规则；同一规则可实例化为直接操作和工具使用任务。来源：论文 Figure 3。

初始状态分布同样由阶段图生成。对几何谓词， reward 中的距离条件同时作为放置规则；对最终阶段，先采样满足目标谓词的状态，再扰动为接近目标的状态。grasp则从 Dexonomy 为每个物体生成的多指抓取集合中采样，并恢复闭合指令q c m d q_{\mathrm{cmd}}qcmd​，使初始时刻抓取已经稳定成立。

候选 reset state 会在仿真中实例化，并通过场景碰撞、重置稳定性和目标可达性检查。训练时 episode 均匀地从各阶段开始，策略可以先练习最后阶段，再逐步掌握完整任务。

猫先生认为，这份设计的聪明之处在于“一图三用”：同一张场景图既生成初始状态，又构造 observation，还组装 reward。任务规格没有被散落在多个手工模块里，换任务时只需要换图。

3.3 零样本 sim-to-real

策略使用 PPO 和 asymmetric actor-critic：critic 拥有特权观测，actor 只使用真机可获得的场景图观测。训练时随机化质量、摩擦等物理参数，并对 actor observation 加入物体位姿噪声、尺寸噪声和延迟。

真机感知使用两台 RealSense D435i RGB-D 相机，FoundationPose++ 估计 6D 物体位姿，并用深度一致性权重融合多视角估计。控制侧，策略输出掌心和指尖速度，QP 控制器在关节速度限制和碰撞 avoidance 约束下求解关节速度。这使部署时可以增加安全约束而不重训策略。

4. 实验与结果

4.1 任务、硬件与基线

实验覆盖五个任务：Doll、Can、Stamp 三个直接操作任务，Hammer 和 Sweep 两个工具使用任务。每个任务仅使用一条人类视频。真机平台为 6 自由度 UR3 和 20 自由度 Wuji 1 灵巧手。

基线包括 Do as I Do 和 CHORD：前者重建 4D 手-物交互并将人类手部运动重定向到机器人；后者用演示中的物体状态演化作为 imitation reward，并加入接触 wrench 引导。

4.2 泛化到视频外的初始与目标位姿

评测采用 Seen/Unseen 协议。Seen 配置复现视频中的初始和目标位姿；Unseen 配置使用视频未出现的初始和目标位姿。仿真和真机各评估 30 次，其中 10 次 Seen、20 次 Unseen；所有 episode 从空手开始，必须完成从 reaching 到任务成功的全过程。

图 3：Seen 与 Unseen 配置下五个任务的仿真和真机成功率。基线在 Unseen 中大幅下降，Dex-One2Many 保持 60–85% 真机成功率。来源：论文 Figure 4。

Seen 配置上，基线也能取得较高成功率，说明显人类视频提取的执行级指导足以复现演示配置。Unseen 配置上，基线在仿真和真机中的成功率不超过 15%，Dex-One2Many 在仿真中为 85–100%，真机为 60–85%。

Can 任务的初始位置地图进一步显示：目标固定时，基线只在演示物体位置附近成功，Dex-One2Many 能覆盖更广工作空间。这说明差距不是由特定评测点造成，而是空间泛化能力的差异。

图 4：Can 任务固定目标时，Dex-One2Many 在更广初始位置范围内保持成功。来源：论文 Figure 5。

4.3 跨灵巧本体

仿真中评估四种臂-手组合：UR3+Wuji 1、UR5e+Sharpa Wave、UR5e+Wuji 2、UR5e+Allegro。替换本体时只更换 URDF 和对应抓取集合，任务规格与其他组件不变。每个本体每个任务评估 500 episodes。

四种本体的平均成功率为 94.6%、96.6%、96.8%、96.0%，说明任务规格可以跨形态复用。不同手在 33 类抓取分类中选择了不同抓取类型，同一只手也会根据物体配置调整抓取。策略不是重定向人类抓取，而是根据本体形态和场景选择合适抓取。

图 5：不同灵巧本体和物体配置下学到的多样化抓取策略。来源：论文 Figure 6。

4.4 消融：reset、reward 和闭合指令

消融在 Sweep 任务上进行。去掉阶段化 reset 后，2000 次 PPO update 的成功率从超过 90% 降到约 16%，说明从中间阶段开始是探索多阶段任务的关键。去掉谓词 dense reward，训练全程成功率为 0%，说明仅靠稀疏任务完成信号无法引导探索。去掉闭合指令q c m d q_{\mathrm{cmd}}qcmd​，成功率降到约 48%，并出现抓取滑落，说明初始接触力对稳定阶段转换很重要。

训练规模同样重要。使用 49,152 个并行环境时成功率超过 90%；12,288 或 24,576 个环境在相同 update 数内低于 25%。大规模并行采样对多样化 reset distribution 下的策略学习有直接收益。

5. 局限与可复现性

项目主页提供了论文、视频和说明，代码标注为 coming soon，当前不能完整复现训练管线。因此复现性主要受限于代码与资产发布状态。

技术边界有三点。第一，真机依赖 FoundationPose++ 估计 6D 物体位姿，位姿噪声和仿真-真实几何差异会影响接触丰富交互。第二，real-to-sim 管线只处理刚体，铰接对象需要手工资产；单条视频也未必能暴露关节轴、位置和限制。第三，虽然方法跨四种灵巧本体有效，但评测仍限于桌面操作和特定任务族，不能直接外推到任意长时程或高动态任务。

总结：从单条视频学到任务，而不是学到动作

Dex-One2Many 的路线可以收在三点：阶段化场景图保留任务关系和顺序，放开位姿、目标和抓取；场景图统一构造 reset、observation 和 reward，把一条视频扩展成大量任务一致训练状态；RL 在这些状态中探索，每个本体学习适合自己的执行方式。

最值得带走的是：单样本学习的泛化瓶颈往往不在数据量，而在抽象层是否保留了任务本质。Dex-One2Many 证明了在灵巧操作中，把人类视频从“动作参考”降为“关系规格”，反而能换来更大的空间、目标和本体泛化。

推荐阅读

► 技术资讯： 魔方 AI 新视界

► 项目应用：开源视界

► 技术专栏： 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列