企业官网建设流程全解析

最近具身智能圈子里，讨论度最高的一个方向，就是某顶级 AI 实验室和某专注人形机器人硬件的公司走到了一起，尝试用“视频”来训练物理 AI。什么意思呢？简单说，就是不再靠人工遥控机器人、一条一条录演示数据，而是直接把互联网上海量的人类操作视频，变成机器人学习的素材。我第一次听到这个思路的时候，第一反应是“早该这么干了”，但深入想了一圈之后又发现，这事背后藏着大量工程细节，稍不注意就会做成“看着很美，落地崩盘”。

这篇文章，我想以一个做机器人算法和具身智能项目的人的角度，把这条技术路线完整拆一遍：它到底解决什么问题、为什么选视频而不是单纯的仿真或遥操作、核心链路怎么搭、里面有哪几个最容易翻车的坑，以及它对整个行业的影响范围到底有多大。不管你是做视觉模型、机器人控制，还是想把人形机器人落到实际场景，这篇应该都值得你花点时间看完。

1. 物理 AI 和“视频训练”到底在解决什么

1.1 为什么人形机器人总在实验室里“表演”

如果你看过一些人形机器人的演示视频，会发现一个规律：它们能很流畅地走路、抓杯子、叠衣服，但背后基本都藏着大量人工干预和时间成本。最常见的做法是这样的：团队用遥操作设备，让操作员戴着动捕手套或者操纵杆，一遍一遍地带着机器人做同一个动作，同时记录关节角度、力矩、图像、语音指令。一个稍微复杂的任务，比如“打开冰箱门再拿出饮料”，可能需要采集几百到上千条演示，每条演示还要保证动作质量足够好。采集完数据，再花几周时间训练策略，才有可能让机器人稳定复现。

这种模式最大的问题不是算法不行，而是数据太贵。每一条遥操作数据，背后都有人的时间、机器人的损耗、硬件的维护成本。如果你想让机器人学会一千种日常任务，那数据成本会高到任何一个团队都扛不住。更麻烦的是，机器人硬件型号不同，采集的数据还不能直接复用。换个机械臂，关节限位、力控参数、相机视角都不一样，原来采的数据等于作废一大半。

所以整个行业其实都卡在同一个瓶颈上：机器人要走向真实世界，必须得有海量的、覆盖各种场景和任务的行为数据，可现有人工采集方式，根本供不上这个量级。

1.2 传统数据路线：遥操作、仿真和真机自采

先把传统的三条数据路线掰开来看，你就能理解为什么视频训练会被寄予厚望。

第一条是遥操作采集，刚才说过，精度高、质量好，但成本极高，而且采集速度跟人的操作速度一样，一小时顶多攒出几十条有效片段。第二条是仿真数据，用物理引擎在虚拟环境里生成海量数据，速度和成本一下降下来了，但代价是“Sim-to-Real Gap”。仿真里的摩擦系数、接触形变、光照条件永远不可能跟真实世界完全一致，模型在仿真里学得很溜，一到真机就出现各种“水土不服”：要么抓取位姿偏了几毫米，要么在软物体上彻底失去判断力。

第三条是真机自采，也就是让机器人自己在真实环境里试错，再用强化学习去学。这条路线在单一任务上效果确实不错，比如某段时间很火的“机器人转笔”“机器人拧瓶盖”，基本都是真机强化学习跑出来的。但它的问题是，每个任务都要重新设计奖励函数、安全机制和环境采样流程，换个任务等于换个项目，很难形成规模化复用的数据资产。

你看，这三条路各有短板：一个太贵，一个太假，一个太窄。那视频训练为什么能补上这个缺口？因为它直接把人类已有的巨量行为视频当成数据源。全球互联网上有多少条做菜、打扫、修理、搬运的视频？几十万小时都不止，而且这些视频恰恰代表了一个核心事实：人类是怎么用身体操作真实物理世界的。

1.3 从人类视频里学“物理直觉”

这里要澄清一个常见误区：所谓“用视频训练”，并不是让机器人直接看着视频就能学会动作。机器人没有人类那样的身体结构和运动经验，它没法直接模仿视频里的一双手。视频训练真正做的，是从这些画面里提取“物理世界的规律”：什么东西可以抓、抓哪里更稳、推一个物体之后它会往哪个方向移动、桌面上的杯子和杯子碰撞之后会怎样。

这些规律，我们管它叫“物理直觉”。一个AI系统如果有了足够强的物理直觉，再让它控制机器人去执行任务，就不需要每条任务都从头学一遍。比如你让它看一眼视频里“把鸡蛋打进碗里”的动作，它虽然不能照抄手的路径，但它能明白：鸡蛋是脆的、碗是硬的、打鸡蛋的时候需要先磕一下再掰开。这些语义理解一旦建立起来，迁移到真机控制上就会容易很多。

这也是为什么这条路线不只是“训练数据凑合着用”，而是一种全新的建模思路：先通过视频学习一个关于物理世界的预测模型，再去指导机器人行动。后面我会详细拆这个链路，现在你只要记住，视频训练的目标是“让AI更懂物理”，而不是“让AI抄动作”。

2. 某顶级 AI 实验室与某机器人公司的方案选型

2.1 两边为什么走到一起

不把具体公司名点出来，但你应该能猜到，这次合作里有一方是做通用AI模型起家的顶级实验室，另外一方是做高动态人形机器人硬件的公司。这两类团队过去很少深度绑定，因为基因不同：做算法的实验室擅长数据、模型、算力，但缺真实的机器人本体和控制系统；做硬件的公司擅长机械结构、运动控制、整机集成，但缺少前沿AI模型的工程化能力。

这次合作的关键就在于补位。实验室有训练超大模型的经验，也验证过“视频生成即世界模型”这条路，机器人公司则提供能在真实世界稳定跑步、抓取、上下楼梯的硬件本体。两边合在一起，才可能把“用海量视频训出来的AI模型”真正装进一台物理机器里跑起来。

这类合作对整个行业的信号意义，比单纯的技术发布还要重要。它说明一个问题：物理AI不是纯算法问题，也不是纯硬件问题，而是“模型+数据+本体”三者深度耦合的系统工程。以前很多团队先做算法再做硬件，或者先做硬件再接算法，效果都不好，就是因为缺少这种从头就绑定的协同设计。

2.2 为什么选“视频生成”而不是直接端到端学策略

行业里做机器人模仿学习，常用的做法是输入几段演示视频，端到端训练一个神经网络，直接把相机图像映射到机器人动作。这条路在固定场景、固定任务上效果很猛，但泛化性很差。换一个光照条件、换一个物体颜色、换一种布局，模型可能就崩了。

这次合作的思路不太一样，它把“视频生成模型”放在了更底层的位置。视频生成模型的本质，是根据当前的画面和一段文本指令，生成后续几秒会发生什么画面。比如你给它一张“手放在水杯旁边”的图，再给它一句“拿起水杯喝水”，它就能生成一段像模像样的未来画面。这个过程其实是在做“视觉预测”，而机器人控制恰恰需要这种预测能力：你得先预判物体怎么动、手应该往哪里放，再决定要输出什么关节指令。

所以视频生成模型在这里不是用来做特效，而是被当成一个“物理世界模拟器”。传统物理仿真需要人为建模，视频生成模型直接从真实视频数据里学，哪个物体软、哪个物体容易滑、手碰到东西会怎么形变，全部隐含在模型参数里。用它合成的视频，再拿去训练机器人控制策略，就能避开人工物理建模的局限。

这其实是一个两层架构：底层是视频生成世界模型，负责“理解物理世界会怎么演变”；上层是控制策略，负责“基于这个理解输出具体动作”。先让世界模型看大量视频，再让策略模型在世界模型生成的视频上练手。这种“先学规律，再学动作”的路线，比直接端到端更容易泛化。

2.3 与仿真数据、扩散策略这些路线的关系

你可能听过“扩散策略”“世界模型”这些词，这里理一下它们的关系。扩散策略是目前机器人模仿学习里很常用的一种动作输出头，它的特点是动作生成稳定、多模态能力强，适合处理“同一个任务有不同做法”的情况。视频生成模型也可以作为这类策略的“大脑”，给它提供更丰富的训练数据。

仿真数据也没有被抛弃，但它的角色变了。以前仿真数据是唯一的大规模数据来源，现在视频生成模型可以先做一轮“预训练”，让模型理解基本物理规律；仿真数据再用来做“域随机化”，也就是在虚拟环境里故意改变物体颜色、位置、摩擦力，让模型学会适应各种变化；最后用少量真机数据做“微调”，把虚拟训练的成果对齐到真实硬件上。

所以这不是一个“谁替代谁”的问题，而是多条数据源开始融合。视频提供真实世界的丰富性和多样性，仿真提供可控性和批量生产能力，真机数据提供最后的保底精度。三者组合起来，才可能支持真正通用的人形机器人控制。

3. 核心环节拆解：从海量视频到机器人动作

3.1 数据从哪来：清洗和筛选比想象中重要

如果真去走这一套流程，你会发现第一步最耗时的工作不是训练模型，而是处理视频数据。互联网视频虽然多，但绝大多数不能直接用。你要找的不是随便一条视频，而是“单视角、画面稳定、操作主体清晰、动作完整、没有镜头切换”的日常操作视频。做饭视频虽然有大量手部操作，但很多视频剪辑频繁、滤镜严重、镜头角度乱变，这些对训练来说都是噪声。

我自己的经验是，数据清洗要分成粗筛和精筛两步。粗筛阶段，可以用现成的多模态模型给每条视频打标签，判断它是否符合“人操作物体”这个基本前提，把风景、对话访谈、纯动画这些无关内容直接过滤掉。精筛阶段，则要检查更细的维度：画面里是否出现手或者工具、手指和物体的接触是否清晰、动作有没有被镜头切换打断、相机移动是否过大。

清洗完的数据也不是直接扔进模型，还需要做分帧和时间对齐。常见的做法是把一段连续视频按每秒3到6帧抽取关键帧，再把连续的帧打包成“视频片段”。为什么要抽帧而不是用所有帧？因为相邻两帧之间的变化很小，信息冗余太高，抽帧既能降低计算量，又能让模型把注意力放在真正重要的状态变化上。

提示：不要只关注数据量大小，更要在意数据的“行为多样性”。同样一条“拿起杯子”的视频，如果换了十种光照、五种桌面背景，比同场景下采集一百条同样角度的数据有价值得多。多样性决定了泛化能力的上限。

3.2 从像素到动作：VLA 模型的接入方式

数据准备好之后，就到了模型结构设计这一步。现在业内比较主流的方向是 VLA，也就是“视觉-语言-动作”模型。输入是一段视频画面和一句任务描述，输出是机器人要执行的关节动作序列。它把自然语言理解、视觉理解和动作生成统一到了一个模型里，好处是可以用同一个模型处理很多不同任务，而不是一个任务单独训一个网络。

在视频训练这条路线里，VLA模型的上游，一般会接一个视频特征提取器，先把连续帧压缩成时空特征。这一步通常由一个视频编码器完成，它会把一段 128 帧的画面编码成一串固定长度的向量序列。然后，语言指令通过文本编码器也变成一个向量，两者拼在一起，统一交给一个 Transformer 主干网络做融合推理。最后，融合好的特征会经过一个动作解码器，输出机器人各关节的目标角度或目标速度。

这里有个关键设计点：动作解码器的选择。早期方案直接让模型回归关节角度数值，效果很不稳定，因为同一段画面对应的合理动作可能有多种，强制求一个平均值反而会让动作变得模糊。后来业内换成了扩散策略头，也就是用扩散模型的方式从噪声中一步一步生成动作序列，整个过程更稳定，也更能表达“多种动作都合理”的情况。现在绝大部分先进的 VLA 方案，基本都会采用这种扩散式动作输出。

3.3 训练流程和计算量：一个量级估算

模型结构定下来后，真正要面对的是算力工程。我来按一个中等规模的实验做一次估算，给你一个直观感受。假设清洗后得到了 1.5 万段高质量操作视频，每段平均时长 6 秒，按 3 帧每秒抽帧，总共约 27 万帧。如果把每 16 帧当作一个训练样本，那一共可以得到约 1.7 万个训练窗口。

训练时设置批次大小 32，窗口长度 128 帧，那么每步训练会消耗约 4096 帧。跑完整个训练集一轮，大约需要 530 步。如果想让模型真正学到稳定的物理规律，通常要训练 200 个 epoch，也就是大约 10.6 万步。在 8 张主流训练卡上，每一步大概耗时 0.8 秒，整个训练过程差不多要 24 小时左右。

这只是“视频世界模型”这一层的训练量。上层策略模型还要在生成的视频上继续训练，这部分由于视频生成本身要迭代采样，计算量通常更大。所以，一个团队如果决定走视频训练路线，没有稳定的算力预算，很难做出成果。很多失败项目不是算法不行，而是算力规划在一开始就没算清楚。

3.4 评估和闭环验证

训练完之后，怎么知道模型真的学会了？这一步行业内叫闭环验证，因为机器人不能只看离线指标，必须放到真实环境里执行，观察它能不能完成任务。我见过不少团队在训练集上指标刷得很漂亮，图像生成质量也很高，但一到真机就发现动作卡顿、物体抓不住，原因大多在于离线指标选错了。

建议评估体系分三层。第一层看视频生成质量，也就是世界模型生成的未来帧是否符合物理规律，有没有出现物体穿模、手部畸形、位置跳变这类严重错误。第二层看策略模型在固定视频输入下的动作合理性，也就是把同样的视频喂给策略，看输出的动作轨迹是否平滑、是否符合任务语义。第三层才是真机成功率，用固定的初始条件跑几十次任务，统计成功比例。

注意：只盯真机成功率还不够，一定要记录失败模式。是真机执行时抓取偏移，还是模型根本没理解任务，这两种失败要分开统计。如果问题出在“没理解任务”，那调动作层参数没有用，得回数据清洗和标注环节找原因。

4. 实际操作中踩过的坑与排查实录

4.1 视频里出现“六指神手”和畸形手指

视频生成模型的一个典型问题，是生成画面里的手常常出现奇怪的结构，比如多了一根手指、手指穿进物体、手和物体之间的接触位置完全不合理。这对人类观看来说只是别扭，但对机器人控制来说却是致命的，因为策略模型会把这种错误的接触信息学到脑子里。

排查时发现，这类问题往往不是模型容量不够，而是训练数据里的手部区域占比太小。一帧 1080p 的画面，手可能只占几十个像素，模型在重建时容易忽略细节。对策有两个方向：一是数据筛选时专门过滤手指畸形的片段，这可以通过一个现成的手部关键点检测器来自动完成；二是在训练时对视频里的手部区域做局部放大，让模型把更多注意力放在手和物体的交互上。

4.2 第三人称视频如何用在第一人称机器人上

互联网上绝大多数操作视频都是第三人称视角，从侧面或者斜上方拍摄。而机器人头上装的相机通常是第一人称视角。这个视角差异会让策略模型在迁移时产生巨大困惑：画面里手的相对位置、物体的尺度、背景的透视关系全都不一样。

解决思路有两种。第一种是“视角增强”，把第三人称视频按不同角度做随机裁剪、旋转、仿射变换，强迫模型对视角变化不敏感。这种做法工程上简单有效，但解决不了彻底的透视关系差异。第二种是“视角转换”，用单目深度估计加新视角渲染，把第三人称视频重建成第一人称视角的画面。这条路效果更好，但多了一步额外的重建流程，而且重建质量会直接影响后续训练。

我当时实际做下来，建议先从视角增强开始，因为它足够简单，而且能快速验证系统能不能端到端跑通。不要一开始就上很重的视角转换管线，否则排查问题的面会变得很大。

4.3 生成视频看似合理，实则“物理幻觉”

这也是视频训练最隐蔽的坑之一。生成模型有可能生成一段看起来很流畅、很真实，但实际上违反物理规律的视频。比如一个杯子被手推了一下，按物理规律应该往前滑动，模型可能让杯子飘起来；毛巾被拿起来之后应该垂下来，模型可能让毛巾保持在半空僵住。

如果你只看画面，很难发现这些问题，因为生成视频在局部纹理和光线上做得太好了。但策略模型一旦在这些“幻觉数据”上训练，就会学到错误的行为先验。要解决这个问题，最直接的办法是在训练集中混入一部分由传统物理仿真生成的数据，它们虽然不够真实，但物理规律绝对正确。用物理仿真的数据去“对冲”生成视频的幻觉，能在训练层面显著提高策略的物理正确性。

另外，建议在数据管道里加一条“物理一致性校验”，通过目标检测和光流法追踪视频里物体的运动轨迹，再用简单的运动学公式检查轨迹是否符合常理。这样可以自动过滤掉一部分明显的物理幻觉样本。

4.4 算力估算失控：视频生成太吃显存

如果只是训练策略模型，算力还好控制，但一旦接入视频生成模型，资源开销就会呈几何级数上涨。视频生成模型在预测未来帧的时候，需要同时处理图像、文本、时间步三个维度的信息，推理时的显存占用远高于普通图像模型。

一个非常现实的问题是：视频生成的 batch size 稍微调大一点，显存直接溢出。很多团队会在这一步把训练批次从 32 降到 4，结果梯度噪声变大，模型很难收敛。我的建议是，不要把视频生成模型的训练和策略模型的训练放在同一个时间周期里。先单独训练好一个通用视频生成器，再离线批量生成训练数据，最后交给策略模型去训练。这样每个阶段都可以把硬件资源调到最合适的规模，而不是挤在一起互相拖累。

下面这个表，是我整理出来的常见问题速查清单，对应排查优先级从高到低排列。

5. 视频训练对机器人行业的影响范围

5.1 数据壁垒被打下来一个量级

如果这条路真正跑通，最大的行业变化不是某个机器人变聪明了，而是整个行业的“数据供给方式”变了。以前想做一个新任务，先招操作员、租硬件、搭遥操作系统，折腾几个月才攒出一批数据。以后可能只需要搜集相关的人类操作视频，清洗一下就能变成机器人的训练数据。数据成本会下降一到两个数量级，很多原本觉得“数据太少做不了”的小团队，也能进入人形机器人和具身智能这个赛道。

这会倒逼硬件公司重新思考机器人的本体设计。以前因为数据采集难，很多团队只能把机器人做成固定工位臂，现在如果视频训练成熟，自由移动、多技能的双足人形机器人就可能从实验室走进更多真实场景。谁能先把手上的硬件数据和视频数据打通，谁就有机会在下一阶段占住位置。

5.2 视频生成器会成为“新的物理引擎”

还有一个不容易被注意的影响，是视频生成模型未来可能取代部分传统物理引擎的工作。传统仿真器需要工程师为每个物体建模、设置约束、写接触动力学代码，复杂又费时。视频生成模型直接从真实观测数据中学习物理规律，一旦成熟，它很可能成为一种更通用、更廉价的世界模拟工具。

这也意味着，训练机器人的基础设施会从现在的“仿真环境 API”转向“视频生成模型 API”。你输入一段初始状态和任务描述，它就给你生成几百条可能的过程视频，策略模型再从中筛选和学习。这种工作方式的转变，会影响一代算法工程师的技术栈。

5.3 产业落地的可能顺序

从产业落地节奏来看，我判断最先跑起来的会是结构化程度最高的场景，比如仓储分拣、巡检、实验室操作。这些场景的真实视频相对好找，动作空间有限，物理规律也相对简单。紧接着是家庭服务里的基础任务，比如桌面整理、衣物折叠、简单清洁。最难的最后才是完全开放环境下的复杂操作，比如做饭、维修、照护，这类场景的物理交互过于复杂，视频训练只是其中一环，还少不了多模态感知和更强的大模型推理能力。

如果你所在团队正在评估要不要跟进视频训练，我给的建议是：先从单个场景的“数据管道”做起，不要一上来就搞大而全的通用模型。先选一个视频资源丰富、机器人本体可控的任务，比如桌面物体抓取，把视频清洗、世界模型预训练、策略模型训练、真机闭环这一整条链路打通。跑通之后，再横向扩展任务范围。这个做法虽然看起来慢，但每一步踩到的坑都是可复用的，比憋大招实际得多。

我从自己做类似项目的过程里，最深的一个体会是：视频训练最大的价值不是“省掉数据采集”，而是逼着整个项目组把“模型怎么理解物理世界”这个问题想得更清楚。以前我们总在调策略网络的结构，后来发现瓶颈根本不在策略层，而在数据层——训练数据里缺少对物体间相互作用关系的抽象表达。只有把世界模型这一步做扎实了，上层策略才能不再盲目。

最后分享一个实操层面的小经验：不管用什么现成的视频生成模型做预训练，都要在内部保留至少 10% 的真实演示数据用于最后的微调。视频数据负责打开泛化能力的上限，真实数据负责兜住物理执行的下限，两者缺一不可。这个比例不一定最优，但它能让你在各种任务上少走很多弯路。