第一次听到圈子里把做具身智能、天天泡在实验室改机器人的那批人叫做“龙虾”,是在一场机器人改装工作坊上。当时我蹲在走廊里,看一群人围着一台已经被拆得七零八落的机械臂——有人换关节电机,有人刷固件,有人往夹爪上缠力传感器,旁边还有同学当场在改推理代码。有人随口说了一句:“这帮人真是龙虾,壳一硬就脱,脱完还能再长。”
这句话在我脑子里转了很久。越琢磨越觉得,用“龙虾”来形容当下做具身智能、特别是做机器人改造的这批人,精准得不像是随便起的绰号。龙虾一辈子要脱很多次壳,每次脱壳都是把旧的外骨骼丢掉,换一身更宽大的新壳;新壳刚长出来是软的,身体完全暴露,得找地方躲起来等它钙化。做具身智能的团队也这样——每隔几个月,主流技术框架就会“脱一次壳”:去年还在争论网络结构怎么设计,今年就开始讨论动作表征怎么建;上个月还在发愁真机数据不够,下个月新数据方案已经铺开。谁不肯脱壳,谁就被壳困死。
这个群体正在做的事情,本质上是在给“智能”重新找一具身体,然后想尽办法让这具身体在真实物理世界里跑起来。这就是标题里“改造机器人”四个字的全部背景。至于具身智能的下一步是什么,要回答它,得先弄明白“龙虾”们现在在干什么、卡在哪里、哪些方向真的在长出肉来。
1. 从绰号到方法论:“龙虾”群体的三层含义
1.1 第一层:硬壳与外骨骼,说的是硬件优先的工程观
传统机器人研发里,硬件是“平台”,算法是“乘客”。工程团队把一个稳定的硬件平台打磨到极致,等它达到很高的可靠性之后,算法团队才上去做感知、规划、控制。这种流程严谨,在汽车产线、精密制造这些场景里也确实是唯一可靠的玩法。但它的节奏,和AI模型迭代的速度完全不在一个拍子上——硬件两年一次改版,算法每周都在变,两者绑在一起,谁都受不了。
“龙虾”们把顺序倒过来了。他们把硬件当消耗品,当实验耗材。买回来的机械臂,拆开换过减速器;3D打印一套新的连杆;电机烧了再买一个;固件不支持新功能,就自己重刷底层。我做过的项目里,光是末端夹爪就换过四代:第一代是成品夹爪,加力传感器加不进去;第二代是自己打印的,刚性不够;第三代换了金属打印件,但太重;第四代改了结构,把传感器嵌进去才算能用。
这种做法的核心出发点,从来不是“把硬件做得完美”,而是“让硬件尽快跟上算法的假设”。算法需要更高力矩密度,就换电机;需要更小末端惯量,就重新设计连杆;需要更精细的力控,就加传感。
在老派工程师眼里,这种做法相当“野”。但它和龙虾的逻辑是一致的:外壳只是撑起身体的骨架,壳不合身了就脱掉换一换。硬件存在的意义是承载当前版本的智能假设,而不是成为一个永恒不变的真理。
1.2 第二层:脱壳式成长,说的是快速迭代的开发节奏
龙虾脱壳不是换完就完事。它脱壳后会迅速吸水,把身体撑大,让新壳预留出生长空间;再过一段时间,新壳钙化变硬,它又获得了继续长大的保护。对应到机器人开发上,就是“定期把架构推倒重来”。
我见过不止一个团队,半年内把控制架构从“底层PID+中层轨迹优化+上层模型预测”,改成“全部端到端学习”,又在下半年觉得端到端太玄学,改回“预训练感知+强化学习运动+规则安全兜底”的分层方案。每一次改变都不是因为之前做错了,而是因为数据规模、模型能力、硬件状态全变了。旧壳注定装不下已经长大的身体。
对旁观者来说,这种反复横跳看起来不专业。但对身在其中的人来说,脱壳恰恰是成长的标志——“身体”已经涨满了旧壳,是时候换了。真正应该警惕的,是那种明明数据已经爆炸式增长、任务已经换了难度,还抱着老架构不放的团队。
1.3 第三层:神经节与再生能力,说的是控制架构上的生态智慧
很多人不知道,龙虾的神经系统相当有意思:它没有一个集中的大脑袋,而是一串分散的神经节,分别控制身体的不同节段。科学家很早就开始研究龙虾的胃神经节和行走神经回路,搞清楚了中枢模式发生器是怎么回事。这个机制后来被借鉴到机器人步态控制里,用节律信号驱动多条腿协调运动,这已经是足式机器人领域的常识了。
“龙虾”们做控制架构,也正在变得越来越像龙虾。不追求一个全知全能的大脑,而是把技能分布到身体各处:底层关节有伺服控制,每个技能是相对独立的模块,上层只有一个大模型做“意图解析”和“技能调度”。这种分布式、模块化、带优先级仲裁的控制结构,比早期的中央集权式控制更适合复杂物理系统。坏哪节就换哪节,丢一条腿还有剩余肢体可以踉跄前行。技术在圈里叫“技能库+分层策略”,本质上和龙虾的生存智慧同构。
提示:这里说的“龙虾式控制”是工程类比,不是生物学复刻。真做足式步态的团队,没几个人去读龙虾论文。但CPG的思路、节段协调的思路、以及“分布式智能”的架构原则,确实是从甲壳类神经系统中沉淀出来的工程财富。
2. 拆开一台“正在服役”的机器人:当下真正跑得通的技术栈
如果只看新闻标题,会觉得具身智能明天就要全面接管人类劳动了。但走进“龙虾”们的实验室,你会发现真正在跑的技术栈其实相当朴素。我下面拆的这套组合,是我在多个项目里反复验证过的,不吹不黑,每一条都有血泪背景。
2.1 感知侧:视觉-语言多模态,先说“是什么”再说“在哪里”
现在的机器人感知已经不再是传统的一串物体检测框了。主流方案是拿一个视觉-语言多模态模型做场景理解:给它一帧实时相机画面,它能输出“台面上有杯子、茶壶和一本蓝色的书,红色杯子在茶壶左边约二十厘米,机械臂的路径前方挡着一卷纸巾”这样的结构化描述,喂给上层任务规划使用。
这一步看起来简单,实际落地却有几个高频坑。第一个是相机标定。很多团队算法调得没问题,“模型说看到杯子在左边,机械臂实际去抓的时候偏了五厘米”——九成是“像素坐标到机械臂基座坐标”这条链路没标定好。第二个是延迟。多模态模型推理一次动辄几百毫秒,对“盯着移动中的目标去抓”这种动态任务来说太慢了,实战里往往要叠加一个轻量级的实时目标检测器做“粗定位”,再让大模型做场景级判断。第三个是视角盲区。单相机看得到局部看不到全局,做桌面操作经常需要顶部相机加腕部相机两个视角配合,数据记录和在线推理都要处理多路视频。
我的经验是:先单独把“像素到基座”这条链路用已知位置的marker反复验证,确认闭环误差小于一厘米,再往上叠语义模型。不然你永远分不清是“看不懂”还是“看不准”。
2.2 决策侧:任务、技能、运动三层拆解,而不是一个黑盒
说完了感知,说最关键的动作决策。这是具身智能和语言模型最不一样的地方——输出不是文字,而是连续、实时、多维度的关节指令序列,还带着接触力、力矩这些暧昧不清的信号。
前两年大家一股脑冲“端到端”,后来陆续发现一个尴尬事实:纯端到端模型出了问题,你根本不知道是卡在“没看懂场景”“不会生成轨迹”还是“轨迹翻译成关节指令时出错”。于是实战里,多数团队回归到一个更工程化的三层架构:
- 任务层:把人类自然语言指令转成结构化子任务列表。“倒水”会被拆成“找到杯子→接近→抓杯柄→抬起→倾斜→观察水位→回正”。这一层大模型做得很出色,基本可以复用通用语言模型的能力。
- 技能层:每个子任务对应一个独立动作策略。抓取、拧盖、插孔、推门各是一个技能,可以分别用模仿学习、强化学习或者经典轨迹生成器训练,互不干扰。
- 运动层:把技能生成的目标轨迹平滑映射到关节位置或力矩指令,同时注入安全约束——防碰撞、防奇异位型、力矩限制。
这三层架构的最大好处是每个环节可以单独测试、单独回滚、单独替换。技能层的新技能训练失败,不会牵连到任务层的语言理解;运动层的安全约束独立存在,即使上层发疯输出个奇葩轨迹,底层仍能兜住。
注意:坚持端到端路线的团队依然存在,小规模任务上确实能跑通。但以我的实际体验,除非你已经有了规模级的高质量真机数据,分层架构是投产阶段性价比最高的选择。模型的新鲜感会过去,调不完的bug不会。
2.3 数据侧:真机、仿真、人类视频三路并进,性价比天差地别
数据是具身智能的命门,所有团队都认账。分歧只在于:数据到底该从哪来。当前实战中能用的数据源主要有三路,我直接列个表:
| 数据来源 | 数据质量 | 规模潜力 | 单条成本 | 核心风险 |
|---|---|---|---|---|
| 真机遥操作 | 极高,含真实接触力 | 低,依赖操作员时薪 | 高 | 人效瓶颈、采集设备贵 |
| 仿真合成 | 中,存在物理偏差 | 极高,可自动生成 | 极低 | 仿真到真机的迁移损耗 |
| 人类视频 | 中低,缺少精确动作标签 | 极高,互联网海量 | 几乎为零 | 信息密度低、难对齐 |
我的判断是:未来三年内,真机遥操作数据仍然是技术壁垒的核心,谁有高效的数据采集团队和设备,谁就能磨出精细灵巧的技能;三到五年后,谁能把仿真数据的物理保真度做上去,谁就掌握了数量级优势。人类视频数据更适合当“启蒙读物”,让模型先理解世界大概是怎么回事,但精确动作控制还得靠真机或仿真数据继续打磨。三路都押注的团队很少,但我觉得至少应该保持三条线都在跑,随时根据项目阶段调整配比。
2.4 迁移侧:仿真到真机,验证过能用的只有两条路
仿真练得好,真机全崩,这个痛几乎每个团队都尝过。在大量失败之后,我总结出两条真正管用的迁移路线。
第一条是域随机化:训练时不固定仿真物理参数,而是每次随机采样摩擦系数、物体重量、关节延迟、相机噪声,逼着策略学到“参数变来变去也能稳住”的鲁棒性。我在这条路线上拿足式机器人的平衡和行走任务取得过接近零迁移损失的成绩,当时已经把摩擦系数随机范围拉到了0.4到0.9之间。但代价是代价函数和参数范围必须调得非常细,随机范围太小没意义,太大策略又会学废。
第二条是系统辨识:先用真机做一套标准的激励信号,把仿真里的惯量、阻尼、摩擦校准到和真机高度一致,再把仿真里练出来的策略直接部署上去。这条路更适合高动态任务,比如跳跃、抛掷、双臂快速装插。
对新人的建议只有一句:别一上来就挑战高动态任务,选一个低速、可重复、接触简单的任务,比如桌面的抓取放置,先把整个仿真到真机的闭环趟通。闭环通了,后面才有资格谈花活。
3. 龙虾最难受的“换壳期”:数据、泛化与评估的三重困局
每只龙虾在脱壳期都是最脆弱的,抵御不了敌人,连水压变化都可能导致死亡。具身智能现在就处在这样一个换壳期:模型在变、数据在变、硬件在变,但三个根本性的难题一个都还没有被完全解决。这三个问题直接决定了“下一步”能走多快。
3.1 数据悖论:棋盘对AI简单,拧瓶盖对AI要命
AI圈有个流传多年的观察:对人类来说很难的智力任务,比如下棋、证明数学定理,对计算机来说相对容易;而人类婴儿都能轻松做到的感知和运动任务,比如辨认人脸、拧瓶盖、爬楼梯,对AI来说却极其困难。放到具身智能里,这个悖论每天在上演。
原因很直白:互联网上有海量的语言和图像数据,几万亿个token随便喂;而“拧瓶盖”这个动作的标注数据,全世界加起来可能都没几个T。物理世界采数据的成本高得吓人——机械臂按小时折旧,操作员按小时付薪,一次失败的采集还可能把末端机构撞坏。更要命的是,同样一个“拧瓶盖”,换了瓶盖材质、瓶身直径、桌面高度,数据就不能直接复用。
所以具身智能的数据饥渴和文本生成完全不是一回事。文本是“有没有数据”的问题,具身是“数据怎么采、怎么洗、怎么复用”的问题。最近圈内在推的共享数据协议、统一动作格式,都是在往数据基建方向使劲,方向是对的,但距离真正普惠还有很长的路。
3.2 泛化三座大山:物体、环境、本体
就算你在十张不同的桌面上学会了抓十种杯子,换一张没见过的桌子、换一个哑光漆面的老式保温杯,模型大概率还是会犹豫半天,甚至直接失败。我把这个现象拆成三座山:
- 物体泛化:形状、材质、柔韧性、摩擦的组合空间近似无穷,靠“见过所有物体”永远解决不了,只能靠“理解物体的物理属性”来解决——这就把问题推给了世界模型。
- 环境泛化:光照、背景、遮挡、布局一变,很多在固定场景里战无不胜的模型瞬间失效。多场景混合训练加域随机化是主流解法,但数据成本会成倍上升。
- 本体泛化:最容易被忽视的一个。换个高度、换个臂长,甚至只是改了机械臂安装倾角,之前采的数据几乎作废。这解释了为什么现在主流模型都在做“本体无关的动作表征”——把动作抽象成末端位姿轨迹,而不是关节角度序列。
三座山里,我最看好“本体无关表征”这个突破口。它直接决定你的数据能不能跨硬件复用,而跨硬件复用是数据飞轮转起来的前提。这个问题不解决,每一台新机器人就意味着从零开始重新采集,规模效应无从谈起。
3.3 评估危机:没有一把公认的“尺子”,进步就只是感觉
大语言模型能快速迭代,一个重要原因是评估效率高:Loss在降、分数在涨、人类反馈可以批量做。但具身智能到今天都没有一套公认可复现的评测基准。每个实验室都自己搭任务集、自己录结果视频、自己说“效果满意”。
问题在于,任务难度、环境变量、随机种子、硬件状态甚至当天关节示波器上的噪声水平,都会让A团队的成功率在B团队的设备上完全不成立。没有标准化的尺子,团队就只能自己和自己比,而自己和自己比,最容易陷入自我感动。
我不指望评测基准明天就能统一成当年图像分类那样,但至少每个团队内部都应该建立一套“黄金任务集”:固定场景、固定物体清单、固定动作预算,把同一条件下的成功率、操作时长、失败模式统计清楚。信心是跑出来的,不是想出来的。谁先把这个纪律立起来,谁的迭代速度就能甩开同行半条街。
4. 具身智能的下一步:四个方向,一张棋盘
回到标题的问题——下一步是什么?我的回答不是某个单一模型赢家通吃,也不是某一种硬件形态一统天下,而是四个方向互相咬合着往前走。我试着把它们对应回“龙虾”的身体部位,看得更清楚:
| 进化部位 | 技术方向 | 要解决的老问题 |
|---|---|---|
| 复眼与脑内推演 | 世界模型 | 数据效率、泛化 |
| 螯足 | 动作分词与统一技能库 | 技能复用、跨本体迁移 |
| 甲壳生长 | 物理数据工厂 | 数据采集成本、规模 |
| 分布神经节 | 安全与对齐 | 部署风险、量产准入 |
4.1 世界模型:让机器人在脑子里先跑一遍
世界模型,本质上是让智能体不只“看到就反应”,而是在内部建立一个对物理世界的动态预测模型:如果我把杯子往左推五厘米会怎样?我松开手,球会往哪滚?当前状态继续运行三秒后,台面上会发生什么?
有了这个能力,机器人就能做到三件现在非常难的事情。一是想象搜索:先在脑内模拟多种动作方案,择优执行,而不是一上来就在真机上盲试。二是异常检测:预测结果和实际观测偏差超过阈值时及时停下来,避免越做越错。三是大幅减少真机试错:技能先在脑内练熟,再上真机验证,把危险和成本都留在虚拟侧。
难点当然也有。物理过程的预测误差会随着预测时长指数级放大:一秒以内的预测很多场景下已经可用,三秒以上的落点预测在复杂操控里还不可靠。但作为“下一步”的主攻方向,它同时撬动了数据效率和泛化两个命门,是最值得押注的方向之一。
4.2 动作的“分词”与“词典”:给机器人的手脚建立统一语法
语言模型能成功,核心之一是发明了token:把人类文字切成离散符号,建立了统一的符号系统。机器人领域同样需要一套“动作语言”——把末端轨迹、关节力矩、接触状态这些连续、异构的信号,切成语义明确的原子动作。
最近几年,各路团队其实在往一个方向收敛:把“抓取”分解为“靠近—预抓取构型—合拢—提拉”,把“插入”分解为“对准—下沉—柔顺修正—到位停止”。这些原子动作被定义出来之后,就能像词一样组合出无限的任务。更重要的是,模仿学习、强化学习、传统规则三种方式训练出来的动作产物就有了统一的存放格式,能放进同一个“技能库”,由上层模型做动态编排。
我估计未来一到两年,会出现一套相对公认的动作分词规范,就像当年语言模型统一tokenizer一样。谁先把这个“动作词典”建起来,谁就能咬住下一波红利。
4.3 物理数据工厂:把数据采集从手工作坊变成流水线
现在的数据采集普遍还是“博士坐在工位上摇遥操作杆”的手工作坊模式。这个模式能出精品,但产能太有限。下一步必须做工业化改造:传感器同步、自动标注、软硬件解耦、数据格式统一、自动化质检。
我实操过之后,有几条具体的经验值得记下来。第一,遥操作设备尽量选有高保真力反馈的型号。没有力反馈,你的数据里就缺了接触力信息,拧瓶盖、插孔这类依赖“手感”的技能根本学不出来。第二,采集环境要做自动化变异生成——自动换物体摆放、自动换光照、自动换背景,让数据多样性不依赖人的自觉,否则一个月后你会发现数据集千篇一律。第三,原始数据必须四路同步:视觉、关节、力矩、触觉的时间戳对齐要精确到毫秒级。别小看这一步,后期数据清洗时,一条时间戳错位的无用数据能浪费你一上午。
这个方向不性感,但它是唯一一个“只要做就有稳定回报”的方向。具身智能短期最大的瓶颈不在算法想象力,而在数据管道的基础设施成熟度。
4.4 可验证的安全与对齐:决定具身智能能不能走出实验室
具身智能和纯软件AI最大的不同,是模型一旦部署到硬件上,一个错误动作可能造成物理伤害和财产损失,无法像聊天模型那样“顶多尴尬一下”。大规模部署之前,安全架构必须被认真对待。
我理解的安全不是“加了力矩上限”一锤子买卖,而是三层结构。物理层:关节限位、力矩阈值、急停按钮,这是最后保命线。策略层:把安全约束注入技能选择逻辑,比如“前方有易碎品时禁止快速接近”“夹爪接触力超过阈值立即停止进给”。监督层:一个外部监控模型持续检查动作意图和实际动作是否偏离任务描述,专门抓“上层模型幻觉导致的合法但荒谬行动”。
很多团队现在的态度是“等出事再说”。实验室demo阶段可以理解,但只要开始考虑多台设备、多个任务轮换、非研发人员在场,安全架构就必须从第一天设计进去。它不是合规负担,而是让系统真正可用的前提——毕竟,一个动不动就把东西扫下桌的机械臂,客户是不会买单的。
5. 给“新龙虾”的入场路线图:从仿真到真机的一手经验
最后一部分,写给已经准备动手的人。下面这些建议不是理论推导,每一句都是从我的教训里刮出来的。
5.1 别急着买机械臂,先在仿真里跑通整个闭环
很多新人一上来就下单买机械臂、买套件,硬件到手才发现,连一个基本的“从A点平滑移动到B点”都没实现,于是陷入“调硬件三周、跑通一次demo三周、demo丢了又重修一个月”的死循环。
正确顺序是先开一个开源的桌面机械臂仿真环境,搭一个最简单的任务场景,把“视觉感知→任务拆解→技能执行→仿真反馈”整条链路用假机器人跑通。这一步几乎零成本,却能让你学会机器人开发的整个骨架。后面再换真机,你至少知道问题出在链路哪一段,而不是一团乱麻。我自己有一半的踩坑经验,都是在仿真阶段先踩了一遍,真机阶段才没那么手忙脚乱。
5.2 买硬件按“够用加可替换”原则,不要一步到位
仿真闭环通了,再考虑真机。选购的关键不是参数最顶级,而是三个“够用”。
第一,结构够简单。标准化六轴关节臂,优先于花里胡哨的多指灵巧手——自由度多一个,控制、数据、维护的复杂度翻一倍。第二,接口够开放。必须有完整SDK和API文档,能拿到底层关节状态和力矩数据,不能只看得到厂商封装好的“高级动作”。第三,损坏代价够低。选有现成备件或者3D打印件也能替换的型号,别买坏了只能返厂等两个月的定制货。
见过太多团队一上来就双臂加灵巧手加移动底盘,半年后有八成时间在修硬件。记住一个原则:你要选的,是能让你最快速度积累“有效任务数据”的机器,而不是看起来最像未来机器人的机器。
5.3 尽早建立自己的“最小数据集+黄金任务集”
开始训练之前,先定义好“什么叫成功”。我强烈建议每个团队维护两个集合。
最小数据集:比如一百个抓取episode、五十个放置episode、二十个推门episode,专门用来验证模型流水线是否跑通,半天就能出结果。黄金任务集:固定场景、固定物体清单、固定种子、固定成功率统计口径,之后的每次模型迭代都拿它做回归测试。
有了这两个集合,你的迭代速度会肉眼可见地加快——你能在十分钟内知道“这次改动是变好还是变坏”,而不是靠“感觉好像变好了”。数据驱动的自信是从这套纪律里来的。
5.4 学会接受“脱壳期”的日常:挫败感是标准配置
最后说点心态。做这个领域,你一定会经历“模型昨天还好好的,今天因为环境变量没绑对,全部失灵”的时刻;也会经历“强化学习练了三天,真机上看它原地转圈”的时刻。这些不是异常,是“龙虾脱壳期”的日常。
我的建议是,把一次完整的仿真闭环、一次成功的真机demo、一次零新增数据的回归测试,都当作“新壳长出来”的节点。不要等完美了才上路,壳永远是先长出来,再慢慢钙化变硬。今天不脱壳,明天就没壳。
在我自己一路折腾的过程里,最大的体会是:具身智能不是一个“算法竞赛”,而是一个“系统竞赛”。那些看起来最酷的demo,背后都是无数个小时的数据清洗、标定调试、仿真与真机之间的反复横跳。如果你准备进入这个领域,别被“龙虾”的外壳唬住,也别低估脱壳期的痛苦。每丢掉一次旧壳、在软壳期里藏着慢慢长大,你能触及的前沿就会往里挪一步。这个领域现在最大的好消息是:壳都很旧了,而龙虾们还远没有长到头。