GR00T N1 深度观察:当机器人行业开始谈论"基础模型"——88 小时数据家底、三道行业难题,与 NVIDIA 给出的第一个通用人形解法
这篇解读不急着讲技术细节,先把问题本身讲清楚:机器人行业为什么突然需要一个"基础模型"?这个模型和 GPT 之于 NLP、SAM 之于 CV 的意义,有什么本质不同?以及,对于做桌面级机器人的启元 Q1 团队来说,这条新闻到底意味着什么。
一个所有机器人公司都绕不开的尴尬
先看一组对比。
训练 GPT-4,OpenAI 用了约 13 万亿 token 的互联网文本。训练一个中等的视觉模型,LAION 数据集提供了 50 多亿图像对。而训练一个人形机器人的操作策略呢?
NVIDIA 在 GR00T N1 论文里给出了一组数字:他们动用了自家的遥操作团队,用 VIVE Tracker、数据手套、Apple Vision Pro、Leap Motion 一堆设备,让人戴着这些装备去"扮演"机器人——收集了 88 个小时的真机数据。
88 小时。这就是一家拥有全球顶级机器人团队的公司,能拿到的全部真机演示数据。
这就是具身智能与文本、视觉领域最根本的差别:互联网上不存在"机器人行为"的语料库。语言模型可以站在人类几千年积累的文本之上,视觉模型可以站在数十亿张图片之上,而机器人只能站在自己那点遥操作数据之上。
论文里有一个很精准的比喻,叫"数据群岛"(an archipelago of data islands)——Open X-Embodiment 项目把全球几十个实验室的机器人数据池化到一起,本想凑出一个"机器人界的 ImageNet",结果发现不同机型的动作空间、传感器配置、控制模式差异太大,拼起来依然是一座座孤岛,而不是一片大陆。
数据金字塔:GR00T N1 给出的第一性解法
面对数据孤岛,GR00T N1 没有试图"把岛连成大陆",而是换了一个思路:按具身特异性分层,让每一层数据干自己最擅长的事。
这个结构在论文里叫数据金字塔(Data Pyramid),我把它整理成下表:
| 层级 | 数据类型 | 规模 | 具身特异性 | 作用 |
|---|---|---|---|---|
| 底层 | 网络数据 + 人类视频 | 数十万小时级 | 低 | 提供视觉与行为先验 |
| 中层 | 仿真轨迹 + 神经轨迹 | 数千小时级 | 中 | 补充规模化训练信号 |
| 顶层 | 真机遥操作数据 | 数十小时级 | 高 | 提供精确的具身执行 |
注意这张表的第三列——规模从下到上递减,恰好和"具身特异性"(数据与真实机器人硬件的贴合程度)正相关。越通用的数据越多,越贴合自家硬件的数据越少,这是一个不可回避的倒金字塔。
GR00T N1 的关键贡献在于:它用技术手段把这个倒金字塔"用起来"了——
- 底层的人类视频没有动作标签?用 VQ-VAE 学一个"潜动作"(Latent Action),把"人手怎么动"编码成离散 token,当作一种虚拟机型的动作来训练;
- 中层缺数据?两条腿走路:物理仿真里用 DexMimicGen 自动扩展(88 小时人类演示扩展成 78 万条仿真轨迹),视频生成模型里"脑补"反事实场景(同样 88 小时,生成出 827 小时神经轨迹,10 倍扩容);
- 顶层数据太贵?那就只收集最核心的 88 小时,其余交给下两层。
三层数据在一次端到端训练里混合采样。这套打法,我认为比模型架构本身更有行业价值——因为架构可以换,数据困境换不掉。
用代码把这座金字塔的账算得更直白一些(数字均出自论文正文):
# GR00T N1 数据金字塔:扩容杠杆一览data_pyramid={"顶层-真机遥操作":{"hours":88,"cost":"人工遥操作, 20Hz采集"},"中层-神经轨迹":{"hours":827,"cost":"10.5万 L40 GPU时, 视频模型生成"},"中层-仿真轨迹":{"hours":6500,"cost":"11小时挂机, DexMimicGen自动扩展"},"底层-人类视频":{"hours":"数十万小时级","cost":"公开数据集(Ego4D等7个)"},}# 杠杆率: 合成数据相对真机数据的扩容倍数print(f"神经轨迹扩容倍数:{827/88:.1f}x")# 9.4xprint(f"仿真轨迹折算: 6500小时 ≈ 连续录制{6500/24/365:.1f}年")# 0.74年print(f"仿真生成耗时: 仅11小时 -> 杠杆率{6500/11:.0f}x")# 590x成绩单先睹为快:三个数字
数据金字塔造出来了,效果如何?论文的成绩单里有三个数字值得每个行业观察者记住:
仿真平均 45.0%。三个仿真基准上后训练后的平均成功率,比从零训练的 Diffusion Policy(33.4%)高出 11.6 个百分点,且机型越复杂优势越大(人形基准领先 17.3 个百分点)。
真机平均 76.8%。13 个真机任务、同等数据量下 Diffusion Policy 只有 46.4%。这是最能说明"上机可用"的一个数字。
42.6%。只用 10% 的真机数据,几乎追平了 Diffusion Policy 用全量数据的成绩(46.4%)。基础模型把数据需求压掉一个数量级——这句话不是修辞,是实验结论。
基准怎么设计、消融怎么做,属于另一套故事,本篇不展开。行业视角只需要记住一点:预训练 + 后训练这条路线,第一次在人形机器人上被完整跑通并公开验证。
GR00T N1 的自我定位:开源,是这篇论文最锋利的部分
2025 年 3 月之前的 VLA 模型格局是这样的:
| 模型 | 机构 | 开源情况 |
|---|---|---|
| RT-2 | Google DeepMind | 闭源 |
| Figure 01/02 | Figure AI + OpenAI | 闭源 |
| Optimus (FSD-based) | Tesla | 闭源 |
| π0 | Physical Intelligence | 部分开放 |
| GR00T N1 | NVIDIA | 模型权重 + 训练数据 + 仿真基准全开源 |
GR00T N1 不是第一个 VLA,但它是第一个把 2B 参数的模型权重、预训练数据配方、仿真评测基准一次性全放出来的工作。这件事的杀伤力在于:它把"人形机器人基础模型"从一个融资故事,变成了一个任何人都能 git clone 的工程起点。
这个说法不是修辞。仓库(Isaac-GR00T,Apache 2.0 协议)clone 下来,你能看到的是一套完整的工程体系:模型代码、训练脚本、评估脚本、入门文档、带真实数据的演示样例(连五条演示的 parquet 和对应相机视频都在),甚至有针对单卡用户的分步后训练教程。更值得注意的是它的迭代节奏——论文发布时是 N1,仓库主线已经走到了 N1.7:VLM 骨干升级、动作块加长,而 Flow-Matching 动作头、双系统架构这些骨架设计一个都没动。开源不是发布日的营销动作,而是持续维护的产品线——这是比模型本身更稀缺的行业信号。
对大厂来说,这算不上威胁——它们有数据、有算力、有自研路线。但对中国机器人创业公司、高校实验室、以及像启元这样的垂直场景团队,这是一个分水岭:之前你要做"通用机器人智能",得先回答"你的模型从哪来";现在这个问题有了一个免费的默认答案。
双系统:一个值得单独展开的架构直觉
论文的架构部分有一个核心洞察值得先在这里点出来。
机器人需要两个东西:聪明的大脑,灵活的身体。而这两者的工作节奏完全不同——
- 大脑理解环境、规划任务,可以慢一点,10Hz 足够;
- 身体执行动作、应对扰动,必须快,120Hz 起步。
GR00T N1 把这对矛盾直接做成了架构:System 2 是一个 VLM(基于 NVIDIA Eagle-2),负责看懂场景、听懂指令;System 1 是一个 Diffusion Transformer,负责把"意图"翻译成高频动作序列。两者通过交叉注意力耦合,端到端联合训练。
这个设计抄的作业来自认知科学——Kahneman 的《思考,快与慢》。但和很多"借鉴认知科学"的营销话术不同,这个设计有一个硬核的工程理由:VLM 推理一次要 100ms,而机器人控制回路 8ms 就要走一步,物理上就不可能让一个模型同时干两件事。
与其硬塞,不如分工。这个思路对任何做机器人系统的团队都成立。
回到启元 Q1:这篇论文和我们有什么关系
读完论文,我第一反应是把启元 Q1 的现状放进这个坐标系里对照。
Q1 现在处在哪个位置?
Q1 的技能包体系(JSON 配置 + 模板渲染 + .rpk 打包)本质上是一个"专家规则系统":鼓励模式的加油动作、早安模式的招手舞蹈,都是人工编排的确定性序列。它可控、可调试、可上架,但有一个天花板——机器人不会自己学会任何一个新动作。每扩展一个场景,都要人工设计 JSON、渲染打包、真机验证。
用论文的话说,Q1 目前是"狭隘专家"(narrow specialist),而 GR00T N1 展示的是"通才"(generalist)路线的可行性。
Q1 的数据现状对照数据金字塔:
| 金字塔层级 | GR00T N1 | 启元 Q1 现状 |
|---|---|---|
| 底层:人类视频 | Ego4D 等七个数据集 | 空 |
| 中层:合成数据 | 78 万条仿真 + 827 小时神经轨迹 | PrimeConsole 动作仿真(仅验证用,非训练用) |
| 顶层:真机数据 | 88 小时遥操作 | 空(技能包 JSON 是规则,不是训练数据) |
三层数据,Q1 一层都没有。这是差距,也是机会——因为 Q1 的场景更聚焦(上肢交互、桌面级),数据需求量级比全身人形操作低得多,起步门槛反而更低。
几个值得 Q1 团队认真讨论的问题:
- GR00T N1 支持 7 自由度以上的双臂 + 灵巧手机型,Q1 的上肢预设动作体系(3001 招手、3007 比心这一套)能不能映射到它的动作空间里?如果能,Q1 可以直接站在这个模型上做后训练,而不是从零训练。
- Q1 的边缘算力跑不动 System 2(VLM),但 System 1 的 DiT 部分(2B 模型里约占 0.86B)做量化蒸馏后有没有可能下沉到设备端?这决定了 Q1 能不能走"云端理解 + 本地行动"的路线。
- 数据要不要从现在开始攒?哪怕每月只攒几小时遥操作数据,一年下来也是 GR00T N1 顶层量的可观比例。
这些问题没有一个是本文能回答的,但每一个都值得带着代码库去拆。
结语:基础模型时代,机器人公司的护城河变了
GR00T N1 之前,机器人公司的护城河是"我能把动作调得比别人顺"。
GR00T N1 之后,动作生成这件事的基线被开源权重拉平了。新的护城河变成了三样东西:场景数据(你有别人没有的真机数据吗)、硬件载体(你的机器人形态适合什么场景)、落地速度(你把开源模型适配到自己硬件上要多久)。
对启元 Q1 来说,这三样里最该立刻动手的是第一样。数据不会从天上掉下来,但会从今天开始积累。
论文信息
- GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
- NVIDIA,2025 年 3 月
- arXiv:2503.14734
开源项目信息
- 项目地址:https://github.com/NVIDIA/Isaac-GR00T
- 项目定位:GR00T 系列人形机器人基础模型的官方实现仓库,Apache 2.0 协议,模型权重发布在 Hugging Face(nvidia/GR00T-N1 系列检查点)
- 仓库内容:模型实现、训练与评估脚本、入门文档、仿真基准接入示例,并附带可直接运行的真实演示数据
- 维护状态:论文发布后持续迭代(当前主线 N1.7),核心架构与论文同构
- 上手方式:克隆仓库按 README 安装环境后,用自带演示数据即可跑通零样本推理,无需自备数据
访问启元机器人开发者社区,获取 SDK、仿真工具、开发文档,完成从代码仿真到真机落地的全流程开发:https://dev.primebot.com/