企业官网建设流程全解析

自动驾驶多目标跟踪MOTByteTrackFairMOTMOTR

一、MOT基础定义与车载2D核心痛点

1.1 多目标跟踪(MOT)定义

多目标跟踪技术（MOT）旨在针对视频帧画面中感兴趣或想要追踪的目标进行检测并获取在图像中的位置，且对每个目标分配唯一ID；全程持续跟踪，目标发生移动、遮挡时尽量保持ID不变，输出连续完整目标轨迹。

1.2 自动驾驶2D MOT特有痛点

车载场景区别于普通监控行人跟踪，存在六大难点：

1. 相机随车辆移动，存在大范围自运动；
2. 多类别目标：轿车、SUV、行人、两轮车等需要同步跟踪；
3. 远距离小目标，远处车辆像素极少；
4. 路口、拥堵路段频繁相互遮挡；
5. 车辆高速运动，帧间目标位移大；
6. 部分低成本前视设备低帧率采集。

二、三大范式总览对比表

三、范式1：TBD 检测后跟踪（量产工业主流）

3.1 核心原理

两阶段流水线架构：每一帧独立运行检测器输出目标框，再通过卡尔曼滤波做运动预测、匈牙利算法完成帧间匹配，串联生成轨迹。

3.2 优缺点

✅ 优势

1. 完全模块化解耦：检测器、跟踪模块分开开发迭代，更换YOLO/BEVDet无需修改跟踪代码，车企量产首选；
2. 推理速度可控，支持Nano/Tiny轻量化模型部署低端MCU、前视摄像头；
3. 可自由组合ReID、雷达几何、相机运动补偿等插件；
4. 训练门槛极低，仅单帧检测标注即可训练，不需要连续跟踪视频。

❌ 缺陷
6. 检测网络无法利用历史时序信息，仅靠手工设计相似度做关联；
7. 遮挡、漏检直接切断轨迹，ID切换(IDS)指标偏高；
8. 检测、关联无法联合优化，理论性能上限低于端到端JDT。

3.3 经典TBD论文（车载2D）

1. SORT (ICIP 2016)
   极简基线，仅卡尔曼+IoU匹配，无外观特征；代码量少、实时性强，但遮挡场景ID跳变严重。
2. DeepSORT (ICIP 2017)
   SORT升级，新增独立ReID网络，分层匹配（高分外观+低分IoU）；早期YOLO+DeepS是前视标配，但双网络推理速度慢。
3. ByteTrack (ECCV 2022)
   行业SOTA标杆，核心创新不丢弃低分检测框：高分框优先匹配，低分遮挡框二次IoU修复，BDD100K多类别榜单第一，目前大量车企替换DeepSORT。
4. StrongSORT (ECCV 2024)
   ByteTrack强化方案，加入相机运动补偿、自适应轨迹生命周期、轻量化ReID，弯道、逆光车载场景效果全面超越ByteTrack。
5. Tracktor++ (ICCV 2019)
   特殊TBD变体，用上一帧轨迹框送入检测器回归当前位置，省去大量匈牙利匹配；仅适合低速车流，高速大位移容易丢目标。

四、范式2：JDE 联合检测重识别（算力中等折中方案）

4.1 核心原理

单主干CNN共享特征，一次前向推理同时输出两类分支：

1. 检测头：目标坐标、置信度、多类别；
2. ReID嵌入头：每个目标128/256维外观特征；
   推理后依旧使用卡尔曼、匈牙利等后处理分层匹配，JDE仍属于TBD大类，不是端到端JDT。

4.2 优缺点

✅ 优势

1. 仅单次CNN推理，相比DeepSORT双模型速度大幅提升；
2. 自带外观特征，短时遮挡ID稳定性优于纯IoU-TBD；
3. 部署简单，单模型文件，量化、TensorRT移植成本低；
4. 训练仅需要少量ID标注，不用完整时序视频。

❌ 缺陷
检测分支与ReID分支存在梯度、特征资源竞争，二者目标冲突（检测希望同类特征接近，ReID希望同类不同车特征拉开），无法同时做到检测、重识别性能双最优；同等参量下远距离小目标召回弱于独立检测器。

4.3 经典JDE论文

1. JDE (ECCV 2020)
   JDE范式开山之作，首次提出单网络同时输出检测+ReID，解决双网络推理冗余问题。
2. FairMOT (IJCV 2021)
   JDE工业标杆，通过特征对齐、均衡损失缓解检测/ReID冲突，城市家用车中等算力域控主流选择。
3. QDTrack (CVPR 2021)
   准稠密特征匹配，不只用中心点特征，车辆局部遮挡关联精度更高，BDD榜单长期前列。
4. UniTrack (2022)
   轻量化JDE，针对车载相机抖动优化，适配低成本前视摄像头。

五、范式3：JDT 端到端Transformer跟踪（学术BEV前沿）

5.1 核心原理

摒弃“检测+后处理匹配”流水线，Transformer内部统一完成检测与时序关联；依靠Track Query跨帧传递历史轨迹，注意力机制隐式完成帧间目标匹配，无匈牙利、卡尔曼等手工关联模块。历史轨迹反向辅助当前帧检测，双向联合优化。

5.2 优缺点

✅ 优势

1. 密集拥堵、长时间遮挡场景ID保持能力碾压TBD/JDE，IDS指标极低；
2. 天然适配多相机BEV架构，2D方案可直接迁移3D MOT；
3. 依靠数据自动学习运动、外观关联规则，减少大量人工调参。

❌ 缺陷

1. Transformer编码器/解码器算力显存开销巨大，仅高端Orin-X等高算力域控可部署；
2. 训练必须连续视频时序标注，数据采集与训练成本极高；
3. 原生检测偏弱：网络优先保证已有轨迹不丢失，新生远距离小车容易漏检；
4. 检测、跟踪强耦合，改动其一就要完整重训，量产迭代灵活性差。

5.3 经典JDE论文分两类

5.3.1 轻量化CNN-JDT（低算力基线）

1. CenterTrack (ECCV2020)：基于CenterNet，输入双帧预测目标偏移，极简端到端轻量基线；
2. TraDeS (CVPR2021)：时序代价卷建模，城市道路车辆遮挡恢复效果优秀。

5.3.2 TrackQuery Transformer JDT（BEV核心）

1. TrackFormer(arXiv2021)：最早TrackQuery思路，但仅两帧建模，长时序效果差；
2. TransTrack(ECCV2022)半端到端，仍依赖IoU匹配；
3. MOTR(ECCV2022)纯端到端标杆，CAL时序损失+TAN时序聚合，整套3D跟踪体系的基础；
4. MeMOTR(ICCV2023)MOTR升级版，增加长期记忆池，大幅降低长遮挡ID切换；
5. MUTR3D(ICRA2023)MOTR从2D扩展到多相机BEV 3D Query，纯视觉3D跟踪开山之作。

六、自动驾驶2D MOT完整学习路线

1. 工程落地方向（车企量产必学）
   SORT → DeepSORT → ByteTrack → StrongSORT
2. 中等算力城市车折中方案
   JDE → FairMOT → QDTrack
3. Robotaxi/BEV算法预研方向
   CenterTrack → MOTR → MeMOTR → MUTR3D
4. 车载特殊运动优化
   CenterTrack、自适应卡尔曼SG-LKF

七、总结

1. 量产低成本ADAS、高速空旷道路优先选择ByteTrack这类TBD，模块化、检测精度高、部署简单；
2. 城市拥堵、算力中等家用车选用FairMOT等JDE，平衡推理速度与短时遮挡ID稳定性；
3. 高阶Robotaxi、多相机BEV感知研发采用MOTR系列JDT，重度遮挡、密集车流场景跟踪上限更高；
4. 选型核心取舍：追求检测召回、工程迭代便捷选TBD；追求短时遮挡ID稳定选JDE；追求极端拥堵长遮挡、多相机一体化建模选JDT。