企业官网建设流程全解析

IJCV 2026

IterRF：配准融合一起优化

进一步展开，“先配准后融合”的方式可以改为闭环互促

没有对齐就是多模态融合最难的地方。不同的传感器安装的位置、视角、分辨率以及成像畸变都会使红外-可见光或者医学多模态图像自然带有视差。传统的“先配准、再融合”的方式很容易使前面一个阶段的误差继续传递到后面的阶段中去；但是很多联合网络虽然具有相似性，配准和融合之间仍然缺乏持续、双向的反馈。

东南大学和武汉大学的IJCV 2026提出IterRF：先将配准和融合写成一个统一的双变量优化问题，然后用可解释的深度进一步展开将求解的过程转化为可以被训练的网络，使“配准改善融合、融合反过来继续修正配准”的闭环不断地重复下去。

论文标题：

IterRF: Iterative and Interpretable Mutual Enhancement for Joint Multi-Modal Image Registration and Fusion

作者：Han Xu，Jiajun Chen，Xunpeng Yi，Peili Li，Jiayi Ma*

单位：东南大学自动化学院；武汉大学电子信息学院；武汉大学机器人学院

论文链接：

https://link.springer.com/article/10.1007/s11263-026-03043-3?utm_source=researchgate.net/utm_medium=article

代码链接：

https://github.com/ChenDoubleJ/IterRF

PART 01

没有对齐就是融合的真实问题

三种配准-融合范式：级联、单步互增强、迭代互增强

由串联流水线变为迭代闭环

论文首先把现有的路线分为了三种类型。第一类是级联式首先进行预配准，然后把结果送到融合网络中去。它可以减轻视差，但是融合的质量非常依赖于前面一步，如果还有残留的错位，那么结构伪影、模糊等问题就会不断积累。第二类是单步互增强：首先分别得到配准和融合的局部最优，然后让融合的结果来反向影响配准；相比于单纯的串联方式，但是交互只进行了一次。

IterRF 最大的不同就是把问题改成了“配准子问题 ↔ 融合子问题”反复交替。作者认为对于双变量的问题来说，多次交替优化比单独对两个变量进行优化再做一次补救要容易得多。

一句话理解：不是“先对齐一部分，然后融合一部分，接着用新的融合结果继续对齐和融合”，而是一边一边地进行对齐、融合，并且不断更新新的融合结果来继续对齐和融合。Fig. 1 就是把这三种范式放在一起进行比较。

PART 02

统一优化：使两件事情交替变得更好

IterRF总体结构和两个主要的核心子网络

F、V、P、Q 依次更新

以红外图像I与可见光图像V以对齐为例，在对齐的时候可以写成像素级加权融合：

当输入有空间错位的时候，作者会把融合图 F与校正后可见图V同时加入到统一的能量函数中去：

再用 HQS 引入辅助变量P、Q把大的问题分解为可以互相替换更新的小问题。Q和P存在闭式更新，但是难以用手工来建模的配准先验、融合先验就交给学习网络去求解：

这一步很重要：网络模块并不是随便堆在一起的，而是在展开算法中各个变量更新的地方分别展开出来的。所以每一轮为什么先更新谁、信息怎样从融合回到配准，都可以沿着优化流程来解释。

PART 03

三个部分把展开的过程落实到网络上

WESN+配准网络+融合网络

①权重估计网络WESN。使用两层 3×3 卷积加上 Sigmoid 函数来计算当前校正图和红外图所得到的空间自适应权重：

②Fusion-Driven Registration Network。配准使用的是多尺度由粗到细更新的方法。Dual-Attentive Guidance Module(DAGM)利用CrossMHSA来使辅助变量Q和红外特征互相提供注意力引导，然后用卷积和膨胀卷积来估计形变场，并逐渐修正出可见图。

③Iterative Unfolding Fusion Network。融合侧同时输入当前 Vk红外I和粗融合图PkGLFEM 使用Swin Transformer抓全局依赖、用CNN抓住局部细节；FRM 再用 Pk为了引导作用，在两模态信息上进行自适应加权。

训练为一个阶段的端到端。总的损失函数由重建、形变平滑、最大强度、最大梯度由四个部分组成，既要准确地对得来，又要融合之后得到强度信息和高频结构别丢失。

PART 04

再来看一下配准：是不是真的把图片对齐了

四种场景下多模态配准可视化对比

像素指标+landmark双验证

训练和评估包括四种类型的图像数据：红外-可见光RoadScene、M3FD医学场景下的PET-MRI、SPECT-MRI。训练输入都统一为256×256，在展开阶段设置为K=3batch size 8，Adam 初始学习率为 1×10−4在一张单个NVIDIA A800进行训练。

配准除了看MI、CC、MSE、PSNR、SSIM、NCC等像素/结构指标外，还会用人工landmark做几何误差评价。论文报告：在医学两组数据上，IterRF 的全参考配准指标都表现很好；在红外-可见光场景中，并不是每一个单项都是第一，但是整体上更加平衡。

更直观的是 landmark：IterRF 在四组数据上都取得了最小的 RMSE、MAE、MEE。例如RoadScene的RMSE由C2RF的4.910降低到3.948；SPECT-MRI的RMSE是5.430同时MAE、MEE也都最小。

Fig. 3 局部放大图中可以看见，该方法不但能矫正整个区域的位移，还可以对边缘附近的小范围非刚性错位进行修正，这是后面融合避免重影的基础。

PART 05

再来看一下融合：信息是不是被保存得更加完整

红外-可见和医学多模态融合可视化的比较

单项+联合任务一起看

只看“融合单项”的时候，论文和U2Fusion、LRRNet、CDDFuse、EMMA、GIFNet、DCEvo、DDBFusion等相比，就显得很普通了。Mask-Difuser等方法相比。在全部的参考指标里，IterRF 在四个样本的数据中大部分指标都达到了最优或者次优的状态；没有参照标准的情况下，优势更加明显。

比如Table 3中，RoadScene的MI/QAB/FSSIM 分别为3.711/0.583/0.539；MRI-PET的MI/VIF/QAB/F为4.021/0.843/0.758。根据Fig. 5也可以看出，红外目标显著性、可见纹理、医学图像中的解剖结构和功能信息都可以同时保持。

更关键的是联合“配准+融合”的任务。为了做到公平比较，纯融合的方法在使用MURF配准组件进行预配准之前就用到了MURF配准组件。根据论文中Table 5/6所展示的数据，在四个数据集的联合任务指标方面，IterRF 比其他级联和单步互增强方案都高一些。

该组数据所要说明的主要内容是：收益不只来源于“更紧密的融合网络””，还来源于配准和融合一直进行着双向迭代带来的联合优化。

PART 06

真实的场景、检测、消融再验证一遍

真实的室内室外没有对齐的场景对比

K=3就是作者最后选择的折中的值

真实失配：作者用的是同步双光谱设备DJI Matrice 4T直接从室内室外没有对齐的照片中采集数据。对于更大的真实空间偏移以及非刚性畸变，Fig. 8 中IterRF仍然可以保持比较一致的结构和融合结果，说明它不仅适用于人工合成形变。

下游检测：在M3FD上使用YOLOv11做目标检测，IterRF的Recall/mAP@0.5/mAP@0.5:0.95分别达到0.582/0.691/0.403三项都为表格中的最大值；Precision 为 0.773，并不是最高但是总的检测结果显示融合图仍然保留了更加实用的语义信息。

复杂度：参数量仅1.921M，就是 Table 8 中最小的一个；推理时间为0.365秒，并不是最快的，但是体现出比较小的参数规模。

消融与收敛：去掉最大强度损失、最大梯度损失、迭代互增强或者自适应权重估计都会产生不同程度的退化。作者也做了K=2/4/5/6的比较，最后选择了K=3因为性能、收敛速度以及计算效率这几个方面更加平衡。Table 10中P、Q、V、F相邻阶段之间的差异随着迭代次数的减少而减小，这表明输出逐渐趋于稳定而不是反复波动。

把两件事情由原来的“串联关系”变成了现在的“可解释的优化闭环”。当融合场景自然存在错位的时候，IterRF给出的思路就是：把对齐、信息整合以及迭代过程中的收敛都放在同一个迭代过程中进行。

往期推荐