☰
Science Robotics|只靠一只前视摄像头,时速100公里!AI无人机跑赢世界冠军
2026/10/28 19:08:23 网站建设 项目流程

「连续战胜三位世界冠军」

目录

01 时速100公里的无人机,难的不是一直往前冲

02 只有一只摄像头,怎样看清下一道门?

03 摄像头看花了、传感器失真了,还能继续飞吗?

04 神经网络直接控制四个电机,为什么反而更快?

05 战胜世界冠军,这项工作真正证明了什么?


2025年4月的阿布扎比,一架无人机在室内赛道上接连穿过狭窄的方形门框。它不需要人握着遥控器,也没有GPS或场馆提供的定位系统,却在与人类飞手的直接淘汰赛中,连续战胜了三位世界冠军级选手。

这架无人机出自荷兰代尔夫特理工大学(TU Delft)的微型飞行器实验室MAVLab,搭载的自主竞速系统叫MonoRace。

2026年10月14日,团队在 Science Robotics 上正式发表了相关研究,系统介绍了这次夺冠背后的感知、定位与控制技术。论文报告,在比赛赛道上,无人机最高速度接近100公里/小时。

听起来,最吸引人的当然是“AI跑赢世界冠军”。但比比赛成绩更值得追问的是:当无人机高速飞行,只有一只前视摄像头和一个惯性测量单元(IMU),它怎样及时看清赛道、估计自己的位置,并让四个电机做出足够快的反应?

MonoRace的答案不是一味增加算力,而是让感知、物理模型与学习控制各司其职。

01 时速100公里的无人机,难的不是一直往前冲

无人机竞速并不是简单地飞得越快越好。比赛要求飞行器沿指定顺序穿过一个个门框,还要完成急转弯、俯冲和反向穿门等动作。速度稍高,留给视觉识别和姿态修正的时间便会大幅缩短;一旦没看清下一个门,或对自身位置的判断晚了半拍,就很容易直接撞上赛道设施。

阿布扎比比赛尤其考验真实工程能力。赛道设有11道门,选手需要完成两圈,其中还包括从上方门框穿过、立即俯冲转向再穿越下方门框的 Split-S 动作。赛事组织方统一提供无人机硬件与比赛场地,参赛队伍不能依赖场外运动捕捉系统,也不能事先对场地进行精密测绘。

此前,机器人自主竞速已经取得过重要突破。2022年的Swift系统就曾在室内赛道战胜人类冠军飞手,但其感知依赖双目视觉惯性里程计等配置,研究实验中还使用过外部运动捕捉数据辅助训练。MonoRace想回答的问题更进一步:如果把环境限制得更真实、把传感器简化为单目相机和IMU,机器人还能保持冠军级速度吗?

图1 | 方形赛门沿室内赛道密集排列,飞行器需要高速连续穿门,而非完成一次直线冲刺。尤其在远处小门和大幅转弯之间,视觉发现目标、定位和控制必须紧密配合,任何一个环节的延迟都可能变成飞行误差。

02 只有一只摄像头,怎样看清下一道门?

MonoRace并没有让一个网络从照片直接猜四个电机应该怎样转。它的视觉部分做了一件更具体的事:从画面中找出赛门,再利用赛门的位置与形状,算出无人机相对赛道的姿态和位置。

首先,前视相机以90Hz采集图像。原始画面视野很宽,但如果每帧都完整送入神经网络,速度和算力开销都会增加。为此,系统会根据自己刚刚估计的飞行位置,预测下一道门大概会出现在哪里,再把图像中最有价值的区域裁剪出来处理。远处的门不会因整幅图缩小而变得难以识别,近处的门也能保留必要的视野范围。

图2 | 左上是清晰的赛门画面,其余图像展示了亮度变化、模糊、噪声、畸变和滚动快门干扰等情况。作者在训练中主动制造这些“不完美的画面”,让视觉网络在高速飞行、光照变化和相机抖动时仍能认出赛门。

接下来,一个轻量视觉网络GateNet负责把赛门从背景中分割出来。不过,知道画面中哪些像素属于门框,还不等于知道无人机在三维空间里的位置。系统还会通过QuAdGate从门框的边缘寻找准确的角点,再结合赛门已知的几何尺寸和相机参数,推算相机相对赛门的位姿。

这一步可以通俗地理解为:画面里的门越大,通常说明离得越近;门框倾斜和透视变化,则提供了飞行器相对于赛门的方向线索。实际计算要精细得多,但核心是利用已知形状的赛门作为视觉参照物。因此,这种定位能力并不等于无人机能在任何陌生环境中仅凭单目图像自由导航。

图3 | 即使门框的分割轮廓不够规整,系统也会从边线交点生成候选角点,再参考预测位置筛掉错误匹配。相比仅仅识别“画面里有一个门”,找准这些角点才能进一步估计无人机相对赛门的位置和朝向。

但摄像头毕竟只能一帧一帧地看,无法直接提供每一瞬间的连续运动信息。MonoRace因此还使用IMU测量加速度与转动,并通过扩展卡尔曼滤波器把视觉与惯性信息结合起来:视觉负责不断校正位置,IMU负责填补画面之间的高速运动变化。系统还对传感器时间戳和处理延迟做了补偿,避免把较早拍摄的画面误认为飞行器此刻的位置。

03 摄像头看花了、传感器失真了,还能继续飞吗?

比算法结构更有意思的,是团队在真实比赛中遭遇的问题。

高速转弯时,前视相机会因为震动、运动模糊和电子干扰给出不完整的图像。论文记录到,赛事硬件的相机排线在高负载下曾受到电磁干扰,画面出现明显的紫色条纹和错位。在一些飞行日志中,相当一部分图像都已损坏。MonoRace能在约一半图像帧受到干扰的某次飞行中完成两圈,但这不意味着系统在任何情况下都能承受一半传感信息缺失;当干扰更严重时,依然发生过碰撞。

它的应对方式也很务实。视觉模型如果无法确认门框,就不把可疑信息强行当成测量;几何匹配与滤波器会进一步检查新观测是否和先前估计相符,必要时拒绝错误观测。短时间看不清时,无人机还能依靠IMU和自身运动模型继续预测状态,等画面恢复后再进行校正。

另一个问题甚至来自IMU本身。竞速无人机急转弯时会产生极强的加速度,加上机身振动,可能导致加速度计的输出超出可靠量程。传感器给出了数值,并不代表这个数值仍然可信。当测量值与无人机动力学模型推算的加速度差距明显异常时,MonoRace会暂时改用模型预测更新飞行状态,同时提高对不确定性的估计,降低错误测量导致定位失控的风险。

图4 | 红、绿两条轨迹展示了高速俯冲转门时的不同状态估计。只依赖失真的惯性数据,系统会偏离对实际运动的判断;当检测到异常并改用动力学模型辅助预测后,估计轨迹更接近真实飞行。高速竞速中的“稳”,很大程度上来自知道什么时候不能盲信传感器。

团队还解决了一个常被忽略的工程问题:相机装在机身上,碰撞或维修之后,安装角度可能有细小变化。在没有外部定位真值的比赛环境里,重新精确标定并不容易。MonoRace于是利用赛门的已知几何形状,把估计位置对应的门框重新投影到照片上,比较预测轮廓和实际识别轮廓是否重合。只需利用飞行日志,就能在赛后优化相机安装角度等参数。

图5 | 左右两幅画面中,优化前后赛门的预测轮廓与真实轮廓逐渐贴合。它展示了一种不依赖外部高精度定位设备的校准思路:用赛道里本就存在的几何信息,反过来检查机器对自身位置和相机方向的估计是否合理。

04 神经网络直接控制四个电机,为什么反而更快?

知道自己在哪里,只解决了高速竞速的一半问题。另一半是:接下来该怎样操纵无人机?

传统飞控往往分成多层:上层先规划飞行轨迹,中间层计算期望姿态或角速度,底层控制器再把目标转化成电机指令。这样的分工方便设计和调试,但在极限竞速中,各环节也会形成额外的控制约束和计算开销。

MonoRace使用一个很小的Guidance-and-Control Network(引导与控制网络,G&CNet)来承担这项工作。它接收无人机估计的位置、速度、姿态及与赛门有关的状态等信息,直接输出四个电机的控制指令,不再经过传统的多级内环控制器。这个网络只有三层、每层64个神经元,运行在飞控板上,每秒更新500次控制指令。

它的训练主要在仿真中完成。作者使用强化学习,让控制网络在反复飞行中学习如何尽快穿过赛门,同时对撞击、偏离门中心以及让下一道门离开视野等行为进行约束。这里的一个细节很重要:如果只奖励飞得快,模型可能会选择高速冲向下一个位置,却让摄像头根本看不到接下来要穿的门。 因而,保持目标可见性本身也要进入控制目标。

当然,仿真里学到的动作不能直接假设在真机上完全成立。实际无人机的气动阻力、旋翼效率、惯量与电机响应都会有偏差。团队在训练中大量随机改变这些参数,让网络提前适应“不那么准确的物理世界”。最终,较激进的策略追求更短时间,较保守的策略则有更稳定的完赛表现。比赛胜利背后并不是只有一套万能控制器,而是工程团队在速度和可靠性之间不断取舍。

图6 | 一连串高速曝光画面还原了无人机穿越上下两个赛门的动作:它先从上方门框穿过,再快速下压、反向转入下方门框。要完成这样的连续动作,控制系统必须在高速转向中快速分配电机推力,而不能每次都等待复杂的轨迹重算。

05 战胜世界冠军,这项工作真正证明了什么?

在2025年阿布扎比自主无人机竞速比赛中,MonoRace拿下单机计时挑战冠军,并在AI对人类的直接淘汰赛中连续战胜三位世界冠军级飞手。论文报告的最快完赛时间为16.56秒,最高速度达到约100公里/小时。这是一个很有说服力的现实环境验证:赛道、无人机硬件与比赛规则都由组织方提供,团队不能依赖场馆里的外部定位基础设施。

但“超过人类”也需要放在具体条件里理解。首先,赛门顺序和几何形状是已知的,系统高度利用方形赛门的结构,并不是完全未知环境的自主探索。其次,MonoRace的视觉感知与控制仍是分开的模块,并非视觉到电机的全端到端学习。再次,它没有加入其他无人机的检测与避碰能力,所以在多机竞速项目中撞上其他队伍的无人机,最终只获得第三名。

MonoRace最打动人的地方,是它把“感知更少、控制更快”这件事做成了真正能上赛场的系统。它既没有依赖复杂的外部定位设备,也没有试图用一个大模型吞下从摄像头到电机的全部任务。相反,它让视觉网络看门框、几何方法算位置、IMU与动力学模型维护状态,再让极小的强化学习网络高频控制电机。

对于更广泛的机器人研究,这篇论文的启发并不是“大家都应该把控制交给神经网络”,而是:在算力有限、环境变化快、传感器并不完美的真实机器人上,模型大小和系统复杂度从来不是衡量智能的唯一尺度。能否在正确的时刻获得足够可靠的信息,并把决策及时转化为动作,或许才是更难的工程问题。

Ref:

论文:MonoRace: Winning Champion-Level Drone Racing with Robust Monocular AI

论文链接:https://arxiv.org/abs/2601.15222

期刊 DOI:https://doi.org/10.1126/scirobotics.aee9250

代尔夫特理工大学官方报道:https://www.tudelft.nl/2026/tu-delft/de-wetenschap-achter-s-werelds-snelste-autonome-racedrone

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询