企业官网建设流程全解析

一. 前言

RGBT（可见光 + 红外）目标检测，通过同时输入 RGB 可见光图像与红外热成像图像，利用两者互补信息：可见光提供丰富纹理、色彩信息，红外不受光照、黑夜、烟雾干扰，提供热辐射特征，在夜间安防、自动驾驶、低空监视等场景具备巨大价值。

但 RGBT 任务的核心难点不在于简单拼接 4 通道输入，而在于跨模态特征对齐与高效融合：可见光与红外模态存在明显域偏移，亮度、对比度、特征分布不一致，简单相加 / 拼接很容易引入噪声，互相干扰，反而降低检测性能。

现有很多双分支方案，大多在网络最深层才做融合，浅层的细粒度边缘、小目标特征得不到充分交互；部分早期差分融合方案使用固定vis‑ir做特征差分，权重完全固定，不能自适应不同场景下两个模态的可靠性。针对这个痛点，本文自研AdaptiveGatedFusion(AGF，自适应门控差分融合)模块，在 P3/P4/P5 多尺度骨干阶段就进行双向跨模态交互，配合残差特征相加与极化通道自注意力，实现可见光、红外特征的渐进融合。

二. 双模态整体网络架构设计

整体网络遵循双独立骨干 + 多尺度渐进融合 + 标准 YOLO的范式。 输入可见光分支、红外分支特征，输入到双backbone特征提取模块中。

1. 双分支独立编码：RGB 分支、IR 红外分支各自进行下采样，分别得到 P3 (8×)、P4 (16×)、P5 (32×) 多尺度特征。

2. Stage‑wise 渐进融合（核心）：每一个尺度（P3/P4/P5）提取完本层特征后立刻送入自研AdaptiveGatedFusion模块：

   • AGF 接收同尺度 vis、ir 特征，输出增强差分融合特征；

   • 通过C2DFF_FeatureAdd残差相加，分别把增强特征回加到可见光分支、红外分支，两条分支都被融合信息更新，继续往下下采样；这一步非常关键：不是融合完丢掉其中一条支路，而是双向更新，两个分支都携带跨模态互补信息，梯度可以双向回流。

3. SPPF‑C2PSA 增强：P5 阶段两条分支分别使用 YOLO11 原生SPPF + C2PSA模块，扩大感受野，强化高层语义。

4. 多模态对齐输出：P3/P4/P5 两个支路的特征送入C2DFF_PolarizedSelfAttention_Channel极化通道自注意力，完成通道维度的多模态对齐，输出 3 路多尺度融合特征，送入检测头。

三、AdaptiveGatedFusion 核心原理

AdaptiveGatedFusion（自适应门控差分融合）围绕动态门控自适应、跨模态差分增强、多尺度空间校准三大核心思想设计：

第一，模态自适应加权思想。传统跨模态差分采用固定相减方式，无法适配复杂场景模态质量波动。该模块通过可学习门控对可见光、红外特征动态分配权重，场景明亮时侧重可见光纹理，暗光干扰场景侧重红外热特征，实现双模态信息自适应配比融合。

第二，差分特征提纯思想。利用双模态特征差值筛选有效目标信息，背景区域两模态特征高度重合、差分响应低，目标区域特征差异显著、差分响应高，以此抑制背景冗余、强化目标弱特征，大幅提升跨模态特征信噪比。

第三，双向互补融合思想。区别于单路融合，模块将差分增强特征双向回流至可见光、红外双分支，让两路特征均获得跨模态互补信息，配合多尺度卷积组完成空间特征强化，实现细粒度、高精度的多模态特征对齐与增强。

整套 AdaptiveGatedFusion 由自适应门控分支、差分增强单元、通道注意力单元、双向残差融合单元、多尺度空间卷积分支、输出映射单元逐级串联构成，为 RGBT 双分支检测专用可插拔融合模块：

自适应门控分支：采用 1×1 卷积对可见光特征编码，结合 Sigmoid 激活生成逐通道自适应门控权重，动态平衡可见光与红外模态的特征贡献度。

自适应差分增强单元：依托门控权重完成加权差分计算，替代固定差分模式，提取双模态差异化目标特征，经 1×1 卷积与 GELU 激活完成初步特征提纯。

双池化通道注意力单元：内置平均池化与最大池化双支路统计结构，对差分特征进行通道维度重标定，增强有效特征通道、压制背景与噪声通道。

双向残差融合单元：将注意力提纯后的差分特征分别残差叠加至原始可见光、红外特征，再融合双支路增强特征，实现双模态信息双向互补、梯度双向回流。

多尺度非对称卷积单元：并行搭载 5×5 标准深度卷积、多组横竖分解一维大核卷积，轻量化捕获多尺度、长条形目标空间轮廓特征，适配多形态目标检测场景。

输出映射单元：对多尺度空间特征做权重重校准，通过 1×1 卷积调整通道维度，输出最终跨模态融合增强特征。

四、代码与配套视频教程

4.1 仓库地址

YOLO11 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLOv11_double_backbone.md
YOLO12 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLO12%E5%8F%8Cbackbone.md
YOLO26 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLO26%E5%8F%8Cbackbone.md
双模态:https://github.com/tgf123/YOLOv8_improve/blob/master/%E5%8F%8C%E6%A8%A1%E6%80%81.md

4.2 视频讲解
https://www.bilibili.com/video/BV1vPozBGE8C/?spm_id_from=333.1387.collection.video_card.click&vd_source=8a6043a22d94a87da35299c073140577

https://www.bilibili.com/video/BV12To9BiEiy/?spm_id_from=333.1387.collection.video_card.click

五、双模态介绍

双模态yaml结构

​

AdaptiveGatedFusion代码和task导包

​