企业官网建设流程全解析

本文同步发表于微信公众号「塔塔学习」，CSDN 为完整版。 栏目：CV论文精读 · 第 001 期 ｜ 目标读者：研究生、AI 开发者、算法岗求职者

论文摘要（原文）

Incremental Object Detection (IOD) enables AI systems to continuously acquire new object classes while preserving knowledge of previously learned ones, an ability essential for deployment in dynamic, real-world environments. Existing IOD methods typically rely on knowledge distillation to mitigate catastrophic forgetting. However, the tight coupling between the student model's detection head and backbone causes distillation gradients to conflict with new-class supervision at the head, injecting head-specific bias into the backbone and ultimately weakening distillation effectiveness. To address this issue, we propose a decoupled training mechanism for the model's backbone and classification head. Specifically, we introduce the Future-aware Cross-head decoupled Distillation (FaCHD) method, which utilizes two frozen complementary teachers (historical and intermediate teachers) to decode the student's ROI features for cross-head distillation. This strategy implicitly alleviates prediction conflicts caused by detection-head bias and provides richer task-relevant guidance, thereby improving distillation efficiency. To further address the detection head bias and model recency problem, we propose a Prototype Semantic Drift Compensation module, which recalibrates multi-granularity prototypes of old classes, effectively correcting semantic drift and enhancing the stability of the detection head. Extensive experiments on two standard IOD benchmarks demonstrate the effectiveness and superiority of the proposed method.

一、论文速览

一句话总结：用两个冻结教师的「跨头蒸馏」稳住骨干网络，再用「原型漂移补偿」单独重训分类头——把"保旧"和"学新"拆成两个互不污染的阶段，刷新了无样本回放的增量目标检测 SOTA。

这个领域在解决什么问题？

想象一个部署在工厂的检测系统：上线时识别 20 类零件，三个月后产线换了，要新增 10 类。最直觉的做法是拿新数据继续微调——结果模型把新类学得很好，旧类几乎全忘了。这就是灾难性遗忘。

主流解法是知识蒸馏（KD）：训练时加一项约束，让新模型的行为尽量贴近旧模型。但增量检测比增量分类难得多，因为同一张图里新旧任务是混在一起的：

• 旧类物体在当前阶段没有标注，容易被当成背景；

• 当前背景里又可能藏着未来要学的类，被误当前景。

这种前景-背景混淆，会让蒸馏信号和真值监督"打架"。

现有方法卡在哪？

这是全文最精彩的一段观察，值得每个做蒸馏的人细读：

现有 KD 方法直接在输出 logits 上做蒸馏，会和学生 assigner 分配的真值目标产生梯度冲突；同时检测头和骨干紧耦合训练，检测头偏向新类的偏置会被「印」进骨干特征里。而被污染的骨干恰恰又是蒸馏的载体——于是形成恶性循环：蒸馏越用力，骨干越偏，蒸馏越没用。

如果你做过蒸馏训练，大概率见过它的症状：损失曲线上蒸馏项和检测项此消彼长、旧类精度怎么调权重都拉不回来——问题可能不在权重，而在梯度通路本身。

二、核心技术拆解

方法分两个阶段，对应两个模块。先记住一个总纲：第一阶段管骨干（保几何一致性），第二阶段管分类头（重置决策边界），两者解耦、互不污染。

模块 1：FaCHD——跨头解耦蒸馏

核心 trick：学生的 ROI 特征不经过自己的分类头，而是送进两个冻结教师的分类头去解码，蒸馏梯度因此只能流经骨干和 ROI 提取器，分类头的偏置无法回流污染骨干。

图 1｜传统 KD 与 FaCHD 的梯度通路对比

双教师分工：

• 历史教师 Mt-1：上一阶段的旧模型，完全冻结，提供旧类知识；

• 中间教师 Mt-im：当前学生只在新类数据上训出的临时版本，完全冻结，提供「未来（新类）感知」的监督。

图 2｜FaCHD 整体框架（图源：论文作者，CVPR 2026）

蒸馏区域按 IoU 阈值 λ₂ 划成两块：

• R₁（疑似旧类区）：与新类真值框 IoU ≤ λ₂ 的候选框；

• R₂（疑似新类区）：IoU > λ₂ 的候选框。

然后做背景概率交叉重构——这个设计很妙，本质是"各取所长"：

• R₁ 区域：用旧教师的背景置信度去校正中间教师的新类前景概率（旧教师对"这里不是新东西"的判断更可靠）；

• R₂ 区域：反过来，用中间教师的背景估计校正旧教师的旧类概率。

校正后，两个教师各自负责自己擅长区域的概率被拼起来，构成蒸馏目标；学生侧做完全对称的「跨头解码」（特征过教师头）得到自己的预测，两边逐区域计算KL 散度，就是蒸馏损失。蒸馏损失在全部候选区域上取平均，可以理解成：「学生借教师的眼睛看世界，但只允许用自己改 backbone，不许改教师的判断标准。」

总损失 = 检测分类损失 + 框回归损失 + α × 蒸馏损失（α=20）。注意：蒸馏损失只更新骨干，不动任何分类头。

模块 2：RPSC——原型语义漂移补偿

骨干更新后，即使同一只猫，特征也发生了偏移——旧的原型（类别特征模板）跟新特征空间对不上了，这就是语义漂移。

RPSC 的处理非常"工程直觉"：

1. 建多粒度原型库：全局原型（类内特征均值）+ 局部原型（按相似度聚类，覆盖类内不同形态）；

1. 估漂移量：让新旧模型对同一个 ROI 各提一次特征，两者相减得到的差值，就是这类特征在空间里「挪了多远」；

1. 补偿旧原型：把漂移量加回旧原型，相当于"把旧模板挪到新特征空间的位置"；

1. 只重训分类头：冻结骨干和 RPN，用修正后的原型 + 新类原型重训分类头，重置决策边界。

亮点：这一步不需要任何旧类图片和标注，只用特征模板就完成了分类头层面的知识巩固。对存储受限的实际部署场景（比如边缘设备上的检测模型迭代）很有参考价值。

实验结果怎么看

• VOC 2007（单步增量 10-10 / 15-5 / 19-1 / 5-15，多步增量）：旧类 mAP 显著领先其他 SOTA，且新旧均衡——不是靠牺牲新类保旧类；距联合训练（理想上限）差距很小。

表 1｜VOC 2007 单步增量结果（图源：论文作者，CVPR 2026）

• 多步增量（10-1 × 10 步 / 5-1 × 15 步）：在更严苛的长序列设置下依然保持领先，验证了方法的稳定性。

表 2｜VOC 2007 多步增量结果（图源：论文作者，CVPR 2026）

• COCO（40+40 / 70+10）：AP 和严格指标 AP75 全面领先，说明增量学习没有丢失精细定位特征。

• 消融：FaCHD 是主贡献，单独使用就有显著增益；RPSC 单独用增益有限，但两者配合在全部设置下最优——典型的"主干保稳定 + 决策边界重置"互补结构。
• 超参：蒸馏权重 α=20、原型损失系数 λ=0.2 最优。α 太小旧类遗忘加剧，太大约束过强影响新类学习——「保旧」和「学新」本质上是在走钢丝。

论文没展开的三个问题（精读视角）

读的时候建议带着这几个疑问，它们是复现前必须想清楚的：

1. 双教师的前向开销：每次迭代要跑历史教师和中间教师两个完整前向，训练显存和时间大约是单教师蒸馏的 1.5~2 倍。论文没有给出训练成本对比，复现时要预留算力。

1. 多步增量下的误差累积：RPSC 的原型补偿是「上一阶段原型 + 当前漂移量」的链式更新，多步增量（如 10 次）后补偿误差可能逐步累积——论文多步实验仍然领先，但没单独分析误差传播，这是一个值得跟进的开放问题。

1. 中间教师的时效性：中间教师是当前阶段开头训出的临时版本，如果新类数据分布偏斜，它提供的「背景估计」本身就有偏差，会传导进 R₁ 区域的概率校正。

这三个问题不影响方法的有效性，但决定了你复现时的工程量预算。

三、延伸阅读

• 增量检测经典基线：ILOD（ICT 2020）、Distilling Knowledge via Region Alignment、DwF（本文背景概率重构策略的来源，引用 [29]）

• 原型思路相关：Few-shot 检测里的原型校准（如 FADI、DeFRCN）

• 综述：Class-Incremental Learning for Object Detection 的近两年 survey