十年前我做第一个移动机器人项目时,感知模块还是典型的“手工工业”:花大价钱买了一台二手机械式激光雷达,用螺丝和角铝把相机架在它上面,再花整整两天做外参标定。行人检测靠的是点云聚类加手工规则,光照一变就漏检,玻璃门一多就乱撞。那时候打死我也想不到,十年后的机器人感知会变成今天这个样子——传感器便宜了一个数量级,深度模型成了标配,连“感知”这个词的定义都变了。它不是从A升级到B,而是整个技术栈被重建了好几遍。这篇文章我想以一个一线从业者的视角,把机器人感知技术这十年里真正发生过的关键转折、踩过的坑、以及让我觉得“未来的路在变宽”的几个方向,原原本本地梳理一遍,给正在做机器人的同学一份有信息量的参照。
1. 从“传感器堆料”到“传感器即服务”:硬件十年
机器人感知这十年的第一波变化,不在算法,而在硬件。搞机器人的人往往把注意力放在模型和代码上,但真正让感知系统能跑起来的,是传感器和计算平台的成本、体积、可靠性全面进化。
1.1 激光雷达的价格曲线与形态变迁
十年前做室外机器人,激光雷达几乎是绕不开的核心件。一台机械式激光雷达,价格动辄相当于一台中档轿车,而且个头不小,顶在机器人头上像个电风扇。它的扫描频率、线束密度、精度其实都有限,但你没有更好的选择。很多团队为了省成本,会去淘二手甚至拆机件,回来还要自己写驱动、处理回波数据。
今天再看,激光雷达市场已经完全不同。半固态和固态方案把尺寸压缩到名片盒大小,价格降到百美元级甚至更低。更有意思的是,现在的激光雷达不再只是“一个转着圈测距的传感器”,很多型号已经内置了信号处理、目标聚类甚至简单的语义输出。说得直白一点,传感器本身开始“带着算法出厂”了。这带来的连锁反应是:开发者可以把精力从“把点云解析出来”转向“用点云解决具体问题”。
1.2 相机、IMU与计算平台的同步进化
激光雷达之外,相机这十年的变化同样巨大。普通RGB相机的分辨率、动态范围和帧率都有明显提升,更重要的是RGB-D深度相机从实验品变成了货架商品。现在的深度相机体积小、功耗低,还自带惯性传感器融合,直接改变了室内机器人避障和抓取的实现方式。
IMU的变化容易被忽略,但作用同样关键。十年前很多机器人用的是消费级航模IMU,零偏漂移大得惊人,运动一会就得重新初始化。现在的IMU芯片在精度、温漂、抗振动方面都有长足进步,价格却更低。与之配套的还有计算平台:从原本笨重的工控机+独立显卡,到如今的嵌入式平台,机器视觉模型的端侧推理已经成为常规操作。可以说,十年前“买传感器、堆一台电脑”是感知项目启动的第一个坎,今天这个坎已经被填平了。
1.3 硬件民主化让谁真正获益
硬件变便宜、变小的直接结果是“感知能力的民主化”。以前只有大团队、大预算才能玩的多传感器配置,现在个人开发者也能搭出一套。但这并不等于感知变简单了,因为硬件之后还有更高的墙。
这里我想强调一个反直觉的观察:硬件民主化真正解放的不是“拥有传感器的人”,而是“愿意把数据当成核心资产的人”。当人人都有激光雷达和深度相机时,差异就不再是你口袋里有什么传感器,而是你拿什么数据、怎么处理数据。后面几章我会具体展开,数据、算法和系统整合能力,才是这十年拉开差距的地方。
| 对比项 | 十年前典型状态 | 现在典型状态 |
|---|---|---|
| 激光雷达 | 机械式为主,体积大、价格昂贵 | 半固态/固态主流,体积小、价格亲民 |
| 深度相机 | 产品稀少、精度差、依赖实验环境 | 货架商品,内置融合芯片,室内室外可用 |
| 计算平台 | 工控机+独立显卡,功耗高、体积大 | 嵌入式AI平台,能跑实时深度模型 |
| 感知开发起点 | 先写驱动、标定、底层滤波 | 直接调SDK和预训练模型,专注上层任务 |
2. 视觉感知的范式迁移:从特征工程到端到端学习
如果说传感器是硬件层的地基,那视觉算法就是机器人感知这十年里被重建得最彻底的一层。我用“范式迁移”这个词,是因为这不是一次简单的算法换新,而是整个建模思路的翻转。
2.1 十年之前的“手工特征”苦日子
2010年前后的机器人视觉,主流思路是手工特征加规则分类。想让机器人识别一个杯子,你得先设计颜色阈值、边缘检测、轮廓拟合,再给分类器喂精心设计的特征向量。换个光照、换个视角,算法就可能彻底失效。我记得当时做行人检测,用的是一种基于梯度直方图的特征加级联分类器,每帧图像要跑几百毫秒,误检和漏检还特别多。最折磨人的是调参:一个阈值的微小改动,可能让某个场景变好,却让另外三个场景崩掉。
那时整个领域都在一种“局部最优”的状态里打转。问题不在工程师不够聪明,而是手工特征的信息瓶颈太明显了——视觉世界的高层语义,哪里是几十维特征向量能扛得住的。
2.2 深度学习落地机器人视觉的三个关键坎
深度学习在计算机视觉领域刷屏是在2012年前后,但它真正大规模进入机器人,其实晚了三四年。这里有三道坎,每一道都值得展开说:
第一道是数据坎。公开数据集里是规规矩矩的物体图片,机器人摄像头里的却是连续视频流、运动模糊、遮挡和动态光照。早期很多团队把公开数据集上训练好的模型直接搬到机器人上,效果立刻打回原形。后来大家才明白,机器人视觉需要的是“带场景语义的数据采集和标注流水线”,不是下载一个包就了事。
第二道是算力坎。当年斯坦福某无人车项目用四块GPU跑一个车载视觉模型,放在今天看依旧昂贵。机器人的功耗、体积、成本都敏感,在嵌入式平台上跑实时深度学习模型,直到近几年才真正变得顺手。这个过程中,模型压缩(剪枝、量化)、专用推理引擎和端侧AI芯片的成熟,是隐形的功臣。
第三道是实时性坎。互联网视觉可以接受几百毫秒的离线延迟,机器人不行。导航要实时、避障要实时、抓取要实时。从“离线刷榜”到“端侧实时”,这个跨越比很多人想象中要难得多,它把检测、跟踪、分割的延迟压缩到几十毫秒级别,还要求模型在连续帧之间保持稳定,不抖动、不闪烁。
2.3 从离线刷榜到端侧实时:部署工具链的成熟
当深度学习模型真的跑进机器人系统之后,整个视觉感知的体验就完全不一样了。目标检测从“漏检、误检、需要一堆规则缝补”变成“开箱即用、再微调就能适配场景”。语义分割、实例分割、关键点检测也都陆续成为可信赖的模块。我在某个仓储机器人项目里的亲身经历是:把视觉避障从传统算法换成深度模型后,人工复盘的误检率下降了将近一个量级,而且光照变化的鲁棒性远比以前强。
同时,视觉感知的输入输出也在标准化。检测结果统一成“类别+框+置信度”,分割结果统一成“掩膜”,跟踪变成“ID+轨迹”。这让感知模块从一个需要专人维护的黑盒,变成了可以像数据库一样被上层规划、决策模块稳定调用的服务。这一层标准化,我愿称它为视觉感知“从算法到产品”的关键一步。
3. 知道自己在哪里:SLAM与三维感知从脆弱到可用
感知不光是“看见东西”,还要“知道我在哪”。机器人的空间感知,是另一个在十年里发生质变的领域,以前它是博士论文级别的难题,现在却成了很多机器人平台的“标配能力”。
3.1 2D激光SLAM的黄金时代与局限
我最早接触的是2D激光SLAM。在结构化的室内环境里,用单线激光雷达加轮式里程计,配合粒子滤波或图优化,就能画出不错的地图,机器人也能稳定地定位。那个年代,很多扫地机器人、巡检机器人就是靠这套组合跑起来的。
但2D激光SLAM的局限也很明显:它把世界压缩成一个平面,遇到坡道、悬空障碍物、玻璃墙就露馅。只要环境稍复杂一点——比如仓库里货架层层叠叠、通道高低交错——2D方案就力不从心。当时我们转移到一个立体仓储场景测试,机器人在坡道上定位漂移得厉害,原因是激光扫描平面和地面的几何关系变了,里程计又扛不住轮子打滑。那个场景逼着我们往三维走。
3.2 激光雷达+IMU紧耦合带来的鲁棒性飞跃
三维空间感知的路线之争持续了好几年。视觉SLAM在纹理丰富、光照稳定的环境里表现亮眼,但遇到无纹理墙面、剧烈光照变化就会退化。纯激光SLAM精度好,却容易在长直走廊、空旷区域里跑飞,因为激光在那些地方的几何约束太少。
真正带来质变的,是激光雷达和IMU的紧耦合方案。这套打法的核心思想是:用IMU的高频运动信息弥补激光扫描的畸变和匹配退化,同时用激光几何约束反过来校正IMU的漂移,两边互相“扶着走”。我印象很深的是,在一条将近一百米的长直走廊里,旧的松耦合方案定位误差越跑越大,最后偏了几十厘米;换成紧耦合方案后,跑完全程误差只有几厘米。这种在真实场景里的对比,比任何论文里的数据都更有说服力。视觉和激光的组合后来也走向了紧耦合,多传感器共同估计位姿,成了定位模块的通行架构。
3.3 语义地图:从“几何”到“可操作”
定位解决了“我在哪”,但机器人真正干活时,还需要知道“这里有什么、能不能走、东西是谁”。这十年里,地图的表达也在悄然升级:从稀疏特征点地图、稠密点云地图,到八叉树占据地图、语义地图,再到现在的“辐射场+”类隐式表达。地图不再只是一堆几何点,而是装载了类别、属性、甚至交互关系的信息容器。
比如给机器人建一张语义地图,它知道“这堵墙可以靠过去”“这扇门需要先打开”“这个货架是禁行区”。有了这种地图,导航和规划就不需要反复调用感知模块就能做常识推理。这条路在早期只能靠手工标注,后来靠语义分割模型自动标注,现在则进一步走向开放词汇的语义理解。我个人的判断是,语义地图会成为接下来几年机器人感知领域最值得关注的方向之一,因为它是“几何感知”迈向“场景理解”的必经桥梁。
4. 多传感器融合:最难的不是算法,是“对齐”
聊完单传感器,必须讲融合。现在几乎没有机器人只用一种传感器,视觉、激光、IMU、里程计混在一起,看起来是“信息冗余”,实际上是把问题复杂度放大了。多年工作下来我的体会是:多传感器融合最难的部分,不是融合算法本身,而是让所有传感器先“对齐”。
4.1 时间同步:差一帧就全错
先聊时间。相机以每秒30帧输出图像,但每一帧的曝光时刻并不一定对齐到整数帧号;激光雷达扫描一圈可能要花几十毫秒,在这期间机器人一直在运动,点云本身就是“扭曲”的;IMU虽然频率高,但它的采样时刻和系统主时钟也可能存在偏差。
这直接导致一个经典问题:如果你把不同时刻的传感器数据当成同一时刻去融合,误差会非常可观。举个例子,机器人以每秒1米的速度运动,时间差了20毫秒,位置就差2厘米;对于机械臂抓取或者近距离避障来说,2厘米足以让一切前功尽弃。所以认真做融合的团队,都会花大力气做时间同步:硬件触发、PTP精密时间协议、或者至少是在软件里做时间戳对齐与插值。我见过不少项目,感知算法刷得很漂亮,最后卡在时间同步上,排查几天才发现是差了几帧。
4.2 空间标定与自动外参校准
比时间同步更磨人的,是空间标定。相机和激光雷达之间的相对位姿(外参)哪怕偏了一度,远处物体的投影误差都会被放大到离谱的程度。十年前,外参标定靠人工测量加手动微调,费时费力且容易出偏差。后来业界有了各种基于标定板的自动标定工具,再到最近,出现了不需要标定板、直接利用场景特征做自动标定的方法。
这块我在实际项目里的建议是:只要条件允许,尽量把外参标定做成自动化的,还要定期核查。因为机器人在运行过程中,传感器受振动、温度、轻微碰撞影响,外参可能发生缓慢漂移。如果标定不及时,感知系统会“自我感觉良好”但实际误差越来越大。很多看似“算法不稳定”的现场问题,最后查下来其实是标定跑偏了。
4.3 融合策略的演变与遗忘降级设计
时间、空间对齐之后,才轮到融合策略本身。早期的经典做法是卡尔曼滤波家族,把不同类型的观测当成对状态的不同约束,优点是计算量小、实现简单,缺点是对传感器模型和噪声特性比较敏感。后来因子图优化成为主流,它把一段时间的所有观测统一建模成约束,做批量优化,精度更高,也更容易引入复杂的传感器模型。
到了近两年,前融合和后融合之争开始升温。所谓后融合,是指每个传感器先独立输出检测结果,再在结果层面做逻辑融合;所谓前融合,是指把图像、点云等原始信号统一放进一个模型,在特征层面就让不同模态的数据相互作用。目前业内效果较好的方案,很多走的是“BEV视角”的路线:把相机和激光雷达的数据统一投影到一个俯视图网格里,再做检测和分割。这种方式天然地解决了多传感器的空间对齐,也让后续的规划决策可以直接“看图干活”。
不过我想强调一个工程上的基本素养:融合系统必须设计降级路径。激光雷达脏了、相机过曝了、IMU饱和了,系统不能直接罢工。在某个园区巡检项目里,我们遇到过下大雨的情况,激光点云里全是雨滴噪声,相机图像也灰蒙蒙一片。那一刻真正救命的,是人们平时不太关注的IMU和轮式里程计,以及事先设计好的“越融合越稳健、缺模态也能跑”的架构。优雅降级,比任何单项指标优秀都重要。
5. 大模型与具身智能:感知从“识别”走向“理解”
如果说前十年感知技术的变革可以用“更好的识别”来概括,那最近两三年的大模型浪潮,正在把这个定义改写为“场景理解与行动推理”。这是我在这个领域里感受到的最具颠覆性的方向性变化。
5.1 开放词汇让感知系统第一次拥有了“常识”
传统目标检测只能识别训练时见过的那几十类物体,换一个没见过的品类就抓瞎。新范式里的视觉-语言模型,用图文对齐的方式让模型学到“什么东西长什么样”的开放语义,机器人在现场看到一只从没训练过的储物箱,它可以借助文本提示把它识别出来。这意味着感知系统第一次拥有了“常识”——不是一百个硬编码类别,而是对世界万物松散却有效的理解。
在实际项目里,这个能力带来的体验落差是巨大的。以前增加一个可识别物品,要重新采集数据、标注、微调模型,跑完全套流程起码一两个星期。现在只需要改一下提示词,或者给一段文本描述,模型现场就能工作。对于品类繁多、变化频繁的服务机器人场景,这种灵活性几乎是从“不可用”到“可用”的差别。
5.2 视觉-语言-动作模型把感知装进决策回路
更前沿的变化,是感知不再和决策分开。传统架构里感知模块输出“这里有个杯子”,规划模块再决定“伸手去拿”。而新范式里的视觉-语言-动作模型,直接把视觉输入、语言指令和动作输出压进同一个大模型里。机器人看到场景,听到指令,直接输出动作序列,感知和决策之间的信息传递不再有明确的“接口”,而是在模型内部完成理解与推理。
这种变化对系统设计的影响是深远的:你不再需要精心设计“感知结果该包含哪些字段”,因为这个模型自己就知道该看哪里、该注意什么。当然,当下的这类模型还有生成式幻觉、训练数据覆盖不足、实时性达不到高频控制要求等问题,距离大规模商业落地还有距离。但我身边已经有团队把它用于“上层任务理解+下层传统控制”的混合架构,效果比我预想的要靠谱很多。
5.3 世界模型与预测式感知
接下来一个正在升温的方向,是预测式感知。传统感知是对“当下”的描述,而世界模型试图让机器人具备对“未来一段时间的推演能力”:前方那辆车接下来怎么走,货架上那个箱子被碰一下会不会倒,机械臂抓取这个物体时后续状态会怎么演化。
这种思路如果成熟,会把机器人的行动水平从“反应式”推向“前瞻式”。我现在在做的一个移动操作项目,就在尝试用短期轨迹预测来提前调整机械臂的抓取策略。说实话,目前效果还谈不上惊艳,但已经能看到一条清晰的上行曲线。感知正在从“看”变成“理解”,再从“理解”变成“预判”,这个方向我非常看好。
6. 十年工程经验沉淀:被低估的“系统思维”
技术说了这么多,最后想聊一些更“软”却同样重要的东西。十年下来,我越来越确信一件事:机器人感知领域的持久竞争力,恰恰不在某个算法、某个模型上,而在你对“系统”的理解深度。
6.1 先问感知给谁用
做感知系统,第一问题不是“用什么传感器”“用什么模型”,而是“感知结果给谁用、用来干什么”。给导航用,你需要稳定、低延迟的障碍物轮廓和可通行区域;给机械臂抓取用,你需要精确的物体位姿和表面几何;给人机交互用,你需要姿态、手势、意图识别的丰富语义。这三个方向的感知架构可以完全不同。我见过不少团队,上来就买一堆传感器、跑一个花哨的模型,结果下游根本用不上它的输出。感知和下游需求脱节,是项目失败的头号原因。
6.2 数据与评测是感知系统的两条腿
第二个经验,也是我想敲黑板说的:数据资产和评测平台,比模型本身更要紧。模型再强,没有贴合现场的测试数据,你都不知道它会在哪个场景崩掉;评测体系不完善,你所谓的“提升”可能只是从“适配场景A”换成了“适配场景B”。
我们的做法是,建立一个log回放库:把真实运行中记录的传感器原始数据、真值标签、人工标注的问题片段全部存下来。每次模型、参数或标定有改动,先丢进回放库跑一遍,对比前后差异。这相当于给感知系统做“回归测试”,很多现场才爆发的搞笑问题,都能在回放阶段被挡下来。这个习惯,比用任何一个“最好”的模型都管用。
6.3 未来几年值得押注的方向
如果让我给后来者列一个“值得押注”的清单,我会说四件事:一是让标注和仿真更智能的自动数据引擎,因为数据的瓶颈还在;二是让机器人在极端天气、灰尘、遮挡等退化场景下保持可靠感知的鲁棒性技术,因为实用化的最后一段路往往是脏活累活;三是把语义理解从文本辅助扩展到真正的三维空间推理,让机器人不只是认出物体,还理解它在这个空间里的位置和作用;四是感知与控制的tight-loop结合,让机器人“边看边动、动了再看”,而不是上游感知完了再机械地交给下游。
这四件事都在不同阶段,但方向是明确的。机器人感知的未来,不会停在“更准的识别”,而是会继续走向“更可靠的理解、更敏捷的行动”。
我到现在还存着十年前那台移动平台留下的一张点云截图,画面里一整排行道树被识别成一团乱麻,当时我还拿它在分享会上当反面案例。每次回看这张图,我都会想起那两年的深夜调参、标定、踢翻了好几把椅子之后才跑通的Demo。技术迭代的速度,往往比身处其中的人感知到的要快得多,但只要方向对了,走慢一点也没关系。最近我们团队又开始折腾新的感知方案了,换了一整套和十年前完全不同的技术栈。离那张“乱麻”截图,已经隔了整整一代机器人。