企业官网建设流程全解析

论文题目：D-FINE: REDEFINE REGRESSION TASK IN DETRS AS FINE-GRAINED DISTRIBUTION REFINEMENT（将DETRS中的回归任务重新定义为细粒度分布求精）

会议：ICLR 2025

摘要：我们引入了D-FINE，这是一个功能强大的实时目标检测器，通过重新定义DETR模型中的包围盒回归任务，实现了出色的定位精度。D-FINE由两个关键部分组成：细粒度分布求精(FDR)和全局最优局部化自蒸馏(GO-LSD)。FDR将回归过程从预测固定坐标转变为迭代细化概率分布，提供了显著提高定位精度的细粒度中间表示。GOLDD是一种双向优化策略，它通过自蒸馏将本地化知识从精细化分布转移到较浅的层，同时还简化了较深层的剩余预测任务。此外，D-FINE在计算密集型模块和操作中结合了轻量级优化，在速度和精度之间实现了更好的平衡。具体地说，D-FINE-L/X在NVIDIA T4 GPU上以124/78 FPS的速度在COCO数据集上获得了54.0%/55.8%的AP。在对Objects365进行预训练时，D-FINE-L/X达到571%/59.3%的AP，超过了现有的所有实时检测器。此外，我们的方法显著提高了广泛的DETR模型的性能，最高可达5.3%的AP，而额外参数和培训成本可以忽略不计。

我们的代码和预先培训的模型：https://github.com/Peterande/D-FINE.

D-FINE：重新定义 DETR 中的边界框回归任务

一、论文背景与核心问题

实时目标检测是计算机视觉的基础任务之一，在自动驾驶、安防监控、工业质检等场景中有广泛应用。当前实时检测领域主要存在两大阵营：

• YOLO 系列：以速度著称，拥有庞大的社区生态，但通常依赖非极大值抑制（NMS），引入额外延迟；
• DETR 系列（Detection Transformer）：基于 Transformer 的端到端检测架构，无需手工设计 NMS 和 anchor，具备全局上下文建模能力，但传统 DETR 计算开销大。RT-DETR 的出现将 DETR 推向了实时应用，LW-DETR 进一步证明 DETR 在大规模数据集预训练下具有更高的性能天花板。

尽管如此，这篇论文的作者认为，当前实时检测器仍面临两个未解决的核心问题：

问题一：边界框回归方式的局限

绝大多数检测器（包括 YOLO 和 DETR）采用"回归固定坐标"的方式预测边界框，本质上是用狄拉克 delta 分布对边界位置建模——即认为每条边的位置是一个精确、固定的值。这种方式存在三个缺陷：

1. 无法建模定位不确定性：在目标边界模糊或遮挡的情况下，单一固定坐标无法表达位置的模糊性；
2. 优化敏感：只能使用 L1 损失和 IoU 损失，对坐标的微小变化极为敏感，导致收敛慢、性能次优；
3. 缺乏迭代精化：一次性预测，无法逐步修正。

GFocal（Li et al., 2020）尝试用离散概率分布替代固定坐标，但仍受限于 anchor 依赖、粗粒度定位以及缺乏迭代精化。

问题二：知识蒸馏在 DETR 中的困境

知识蒸馏（KD）是提升轻量模型性能的有效手段，但传统蒸馏方法（如 Logit Mimicking、Feature Imitation）在 DETR 的一对一匹配机制下表现不佳，甚至会降低性能。定位蒸馏（LD）虽然对检测任务更有效，但依赖 anchor 架构，且引入大量额外训练开销，与 anchor-free 的 DETR 不兼容。

二、D-FINE 的核心创新

针对上述问题，论文提出了D-FINE，其核心创新包含两个关键组件：细粒度分布精化（FDR）和全局最优定位自蒸馏（GO-LSD），并辅以轻量化架构优化。

2.1 细粒度分布精化（FDR）

核心思想：将边界框回归从"预测固定坐标"转变为"迭代精化概率分布"。

分布建模方式

对于每个目标，FDR 不再直接预测四条边的绝对距离，而是为每条边维护一个离散的概率分布。第 l 层的精化边距计算为：

其中，是初始边界框的边距，是第 l 层输出的四条边各自的概率分布，W(n) 是非均匀加权函数。分布的加权求和给出边的偏移量，再乘以初始框的高度 H 或宽度 W 进行归一化，使调整幅度与框的尺寸成比例。

残差更新机制

每一层的分布不是独立预测，而是在前一层的基础上做残差更新：

当前层只需预测残差 logits，叠加后经 softmax 归一化得到精化分布。这使得每一层聚焦于修正上一层的误差，逐步提升定位精度。

论文 Figure 2：D-FINE 与 FDR 的整体架构示意图，展示概率分布如何经过多个解码器层以残差方式迭代精化，以及非均匀加权函数的作用。

非均匀加权函数 W(n)

加权函数 W(n) 是 FDR 的关键设计：

其中 a、c 是超参数，控制函数的上界和曲率。W(n) 的形状设计具有直觉意义：

• 预测已接近准确时：函数在中心区域曲率平缓，偏移候选密集，允许更精细的局部调整；
• 预测偏差较大时：函数在边缘处曲率陡增，提供足够的大幅修正空间。

这种非均匀设计克服了 GFocal 中等间隔 bins 导致精度受限的问题。

细粒度定位损失（FGL Loss）

为了训练分布预测，论文提出了Fine-Grained Localization (FGL) Loss，受 Distribution Focal Loss（DFL）启发但有所改进：

其中是相对偏移量，、是在 W(n) 坐标轴上的相邻 bin 索引，权重、确保插值精确对齐真值偏移。同时，IoU 加权鼓励不确定性低的分布更集中，使回归更准确可靠。

2.2 全局最优定位自蒸馏（GO-LSD）

核心思想：利用最终层精化后的分布，以自蒸馏方式将定位知识传递给浅层，同时简化深层的残差预测任务，形成相互促进的协同效应。

论文 Figure 3：GO-LSD 流程示意图，展示最终层的定位知识如何通过 DDF 损失以解耦加权策略蒸馏到浅层。

全局最优匹配

GO-LSD 在每层独立进行匈牙利匹配，获取各层的局部最优匹配索引，再将所有层的匹配索引聚合为一个全局联合集合。这样，跨层最优候选框都能受益于蒸馏过程。在分类任务上，仍保持一对一匹配原则，避免冗余框。

这导致一个特殊情况：联合集合中部分预测框定位精确，但分类置信度偏低（因分类匹配是一对一的）。这类"高 IoU 低置信度"的框也需要被有效蒸馏，不能忽视。

解耦蒸馏焦点损失（DDF Loss）

为此，论文提出Decoupled Distillation Focal (DDF) Loss：

其中：

• 为 Kullback-Leibler 散度，衡量浅层分布与最终层分布的差异；
• T 为温度参数，用于平滑 logits；
• 已匹配框的权重以 IoU 为主导，高 IoU 的框获得更大蒸馏权重；
• 未匹配框的权重以分类置信度为主导，高置信度的潜在候选获得适当权重；
• 、分别为已匹配和未匹配框的数量，通过等项平衡两类框的整体贡献比例。

这种解耦设计解决了 DETR 中"高 IoU 低置信度"预测框难以被有效蒸馏的问题。

2.3 轻量化架构优化

在 RT-DETR-HGNetv2-L 基线上，D-FINE 还做了一系列精心设计的架构修改：

• 移除解码器投影层：减少 GFLOPs，降低延迟，但 AP 有所下降；
• 引入目标门控层（Target Gating Layer）：置于解码器交叉注意力模块之后，替代残差连接，允许查询在各层动态切换关注目标，防止信息纠缠，弥补 AP 损失；
• 将编码器 CSP 层替换为 GELAN 层：提升特征提取能力，但参数量和计算量上升；
• 缩减 GELAN 隐藏维度：将维度减半，在性能和效率间取得平衡；
• 非均匀采样点分配（S:3, M:6, L:3）：针对不同尺度目标优化采样效率；
• 采用 RT-DETRv2 训练策略：提升训练收敛质量。

最终，相比 RT-DETR-HGNetv2-L 基线，D-FINE-L 在 AP 提升 1.0%（53.0% → 54.0%）的同时，延迟降低 13%，GFLOPs 减少 17%。

论文 Table 3：从基线模型到 D-FINE 的逐步修改路线图，展示每步的 AP、参数量、延迟和 GFLOPs 变化。

三、实验结果

3.1 与实时检测器的横向对比

在 COCO val2017 上，D-FINE 与各类实时检测器的全面对比结果如下所示：

论文 Table 1：D-FINE 与各实时检测器在 COCO val2017 上的性能对比，包含参数量、GFLOPs、延迟、AP 等多维度指标。

核心亮点数据：

D-FINE-L 以31M 参数、91 GFLOPs达到 54.0% AP，显著优于参数更多、计算量更大的竞争对手。D-FINE-X 的 55.8% AP 超过了 RT-DETR-R101（54.3%）和 YOLOv10-X（54.4%），同时拥有更低的参数量和延迟。

论文 Figure 1：D-FINE 与其他检测器在延迟-AP（左）、参数量-AP（中）、FLOPs-AP（右）三个维度的散点图对比。

在 Objects365 预训练后的效果

在 Objects365 数据集预训练、再迁移至 COCO 的设置下：

• D-FINE-L达到57.1% AP，超过 LW-DETR-X（58.3% vs D-FINE-L 57.1%，但 LW-DETR-X 参数量高达 118M，D-FINE-L 仅需 31M）；
• D-FINE-X达到59.3% AP，超越所有已有实时检测器，包括 LW-DETR-X（58.3%）；
• D-FINE 仅需21 个预训练 epoch即可达到此效果，而 YOLOv10 需 300 个 epoch，进一步印证了 DETR 系列对预训练的高效利用能力。

3.2 FDR 和 GO-LSD 在不同 DETR 模型上的泛化性

为验证方法的普适性，论文将 FDR 和 GO-LSD 集成到多种 DETR 变体中：

论文 Table 2：FDR 和 GO-LSD 在 Deformable-DETR、DAB-DETR、DN-DETR、DINO 等模型上的效果对比。

结果显示，FDR 和 GO-LSD 在所有测试模型上均带来显著提升，提升幅度为2.0% 至 5.3% AP，且不增加额外参数和计算量。以 DAB-DETR 为例，AP 从 44.2% 提升至 49.5%（+5.3%），DINO（24 epoch）从 50.4% 提升至 52.4%（+2.0%）。

3.3 蒸馏方法对比

不同蒸馏方法在相同框架下的比较：

论文 Table 5：各蒸馏方法在 AP、训练时间和 GPU 显存方面的对比。

传统蒸馏方法不仅未能提升性能，Logit Mimicking 反而导致性能下降（-0.4%）。GO-LSD 获得最高 AP（54.5%），仅比基线多6% 训练时间和2% 显存开销。

3.4 超参数敏感性分析

论文对 FDR 和 GO-LSD 的关键超参数进行了消融分析：

论文 Table 4：FDR 超参数（a, c）、分布 bins 数 N、温度 T 的敏感性消融实验结果。

• 加权函数参数：a=0.5，c=0.25 时达到最优 53.3% AP；将 a、c 设为可学习参数反而略微降低性能（53.1%），说明固定值更有利于优化稳定；
• Bins 数 N：N=32 时达到峰值 53.7%，超过后收益递减；
• 温度参数 T：T=5 时取得最优 54.0%，平衡了分布平滑与知识迁移效率。

四、可视化分析

FDR 的可视化清晰展示了其工作机制：

论文 Figure 4：多个检测场景下 FDR 的可视化结果，展示初始框（红色）与精化框（绿色），以及未加权和加权概率分布的变化。

• 红色框为第一层解码器的初始预测，绿色框为最终层的精化预测，绿色框与目标对齐更准确；
• 上行分布（未加权）展示四条边（left/top/right/bottom）的原始概率分布；
• 下行分布（加权后）展示 W(n) 作用后的分布，红色曲线为初始分布，绿色曲线为精化后分布。

加权分布在预测接近准确时更为集中（低不确定性），在误差较大时展宽以覆盖足够的修正范围，直观验证了非均匀加权函数的设计合理性。

五、轻量级模型的性能

D-FINE 的优势不仅体现在 L/X 量级，S/M 量级同样表现优异：

论文 Table 7：S 和 M 量级实时检测器在 COCO val2017 上的性能对比。

• D-FINE-S：10.2M 参数，25.2 GFLOPs，3.49ms 延迟，达到48.5% AP，超越 Gold-YOLO-S（46.4%）和 RT-DETRv2-S（48.1%）；经 Objects365 预训练后提升至50.7%；
• D-FINE-M：19.2M 参数，56.6 GFLOPs，5.55ms 延迟，达到52.3% AP，超越 YOLOv10-M（51.1%）和 RT-DETRv2-M（49.9%）；经预训练后提升至55.1%。

六、局限性与未来方向

论文诚实地指出了当前的局限：D-FINE 轻量级变体与其他紧凑模型之间的性能差距仍然有限。可能的原因是较浅的解码器层其最终层预测精度有限，制约了定位知识向早期层蒸馏的效果。

未来方向包括：研究先进架构设计或新型训练范式，在训练时引入更深的解码器层以提升蒸馏质量，推理时通过丢弃这些层来维持轻量推理效率。

七、总结

D-FINE 通过两个优雅的设计——FDR 和 GO-LSD——系统性地解决了 DETR 边界框回归和知识蒸馏的核心痛点：

最终，D-FINE 在实时目标检测领域树立了新的 state-of-the-art 标杆：D-FINE-X 在 Objects365 预训练后以 59.3% AP 超越所有已有实时检测器，同时保持高效的推理速度。更重要的是，FDR 和 GO-LSD 作为通用组件可无缝集成到各类 DETR 架构，不增加参数和计算量，展现出强大的泛化价值。