论文题目:A Simple Combination of Diffusion Models for Better Quality Trade-Offs in Image Denoising(通过简单组合扩散模型,在图像去噪中实现更优的质量权衡)
会议/期刊:CVPR Workshop 2025
摘要:扩散模型因其能够合成逼真的图像,并且已被证明在图像重建任务中有效,因而在计算机视觉领域受到广泛关注。然而,现有方法尚不能有效兼顾扩散模型的高视觉质量与以往图像重建方法所实现的低失真。具体而言,针对基础任务——加性高斯噪声去除,我们首先展示了一种直观的方法来利用预训练扩散模型。进一步地,我们提出线性组合扩散去噪器(Linear Combination Diffusion Denoiser,LCDD),将两种互补的推理过程统一起来:一种利用模型的生成能力,另一种确保信号恢复的保真度。通过利用去噪样本的内在结构,LCDD 达到当前最先进的性能,并且只需调整一个标量超参数,就能实现可控且表现良好的权衡。
一、研究背景与核心问题
图像去噪有两个不完全一致的目标:一是尽可能接近真实图像,通常用 PSNR 衡量;二是纹理和细节看起来足够自然,通常用 FID、LPIPS、NIQE 等指标评估。传统去噪网络往往更擅长像素级恢复,却容易抹平细节;扩散模型生成的图像更自然,却可能偏离输入的真实细节,导致 PSNR 不够理想。
已有扩散去噪方案可能需要专门训练模型,或在残差空间执行完整扩散推理,计算开销较高,失真表现也未必占优。本文关注加性高斯噪声去除,希望直接利用预训练扩散模型,在不额外训练的前提下结合两类方法的优势。
论文 Figure 2:线性组合相较原始方法的失真—感知权衡轨迹
这张图表达了论文的核心动机:不同方法沿着各自的失真—感知轨迹移动,而合适的线性组合有机会得到更有利的权衡。作者选取同一扩散模型产生的两个端点——PSNR 较高的输出和 FID 较低的输出,检验组合是否符合理论预期。因此,关键不是混合任意两张图,而是找到性质互补的输出。
二、LCDD 的整体框架
论文 Figure 1:LCDD 将扩散去噪输出与初始预测进行线性组合的整体流程
LCDD 先根据输入噪声水平定位扩散时刻,将带噪图像缩放到与该时刻匹配的形式,再从此处开始反向去噪,最后线性组合不同推理路径的结果。核心是解决两个问题:如何把普通带噪图像接入预训练扩散模型,以及如何利用不同推理长度产生的互补结果。
设带噪输入为 (),其中
是干净图像,n是标准高斯噪声,
表示噪声强度。扩散模型的前向过程则会同时缩放干净图像并逐步增加噪声:
其中,控制第 k步保留多少原始信号。普通去噪输入y中的干净图像没有被这个系数缩放,因此不能不加处理地直接当作任意一个扩散中间状态。作者的做法是先乘上缩放系数
,使信号项和噪声项的比例与扩散前向过程对应,再把图像送进相应的反向去噪步骤。
该框架无需为不同噪声强度分别训练网络。DDPM 与 DDIM 具有相同的前向边缘分布,因此可以共用一个预训练去噪网络,区别主要在反向推理更新方式。
三、关键机制一:从噪声水平定位扩散时刻,并缩短推理路径
3.1 如何把带噪图像映射到扩散中间状态
普通高斯去噪的输入是,而扩散模型第k步的状态是
。为了让两者的信号与噪声比例一致,作者令
,从而得到:
是输入噪声强度,
是匹配到的信号保留系数,
则是在预设噪声日程中与该系数最接近的扩散时刻。实际推理时,先计算
,再从
开始反向去噪,最终得到恢复图像。直观上,这相当于不再要求模型从纯噪声开始生成,而是把已经含有图像内容的输入放到扩散链中合适的位置继续恢复。
噪声强度未知时,可以先用噪声估计器估计,再执行相同流程,从而扩展到盲去噪。不过,论文主要实验仍是在给定噪声等级下进行,尚不能视为充分验证了盲去噪性能。
3.2 为什么推理步数会改变图像质量
定位到后,并不一定要把从
到 0 的每一步都执行完。LCDD 可以从原有噪声日程中选取一个子序列,保留相应的前向噪声水平关系,同时减少反向推理所经过的中间状态。作者比较了不同长度的推理日程:较短日程通常更接近输入信号,PSNR 更高;较长日程则更充分地利用扩散模型的生成能力,通常能获得更自然的纹理和更低的 FID、LPIPS,但也可能产生更明显的细节偏移。
因此,推理步数本身就提供了失真—感知权衡路径。LCDD 把短日程和长日程作为互补的预测来源,为组合提供两个端点。
四、关键机制二:用线性组合获得更灵活的失真—感知权衡
作者把单步推理得到的低失真图像记为,把多步推理得到的高感知质量图像记为
,然后直接在图像空间进行线性组合:
其中,控制两种结果的占比:
对应单步、偏向失真保真;0对应多步、偏向感知质量。该操作无需训练融合网络,也无需为每个
重新训练模型,只需组合两张预测图像。
论文 Figure 6:单步与 168 步 DDIM 输出之间的线性组合示例
这张图展示了从单步结果到 168 步结果的连续变化。观察时可以重点关注头发等高频细节:单步结果通常更平滑、与真实图像偏差较小,但观感可能不够自然;长日程能补充更真实的纹理,却也可能生成与真实细节不同的内容。中间的线性组合则试图在这两种特性之间取得更合适的平衡。
真正值得注意的是,线性组合并不只是把两种质量简单折中。作者报告,在部分设置下,组合结果可以同时改善初始结果的失真和感知指标。这是 LCDD 的主要经验发现:当两个端点来自同一扩散模型、且分别侧重信号保真与感知自然度时,简单的像素级组合也可能得到比原始推理轨迹更有利的结果。
五、实验结果与分析
5.1 实验设置与评价指标
论文在 ImageNet 和 FFHQ 上评估不同推理日程与组合系数,并在 Kodak24、BSD68、McMaster 三个常用去噪基准上与现有方法比较。指标包括 PSNR(越高越好)、FID、LPIPS 和 NIQE(后三者在本文的评价设置中越低越好)。实验使用预训练扩散模型,输入图像主要按 256 × 256 的设置处理;FID 为控制计算成本,使用 5000 个测试样本计算。对于 BSD68,作者按 KAIR 基准做法对图像切块并汇报平均结果。
论文 Table 1:DDPM 与 DDIM 在 FFHQ、ImageNet 上的推理日程和线性组合结果
Table 1 先展示了最基本的趋势:从单步切换到更长的推理日程,PSNR 通常下降,而 FID、LPIPS 改善,说明感知质量与像素保真之间确实存在冲突。以 DDIM、噪声强度为例,FFHQ 上 168 步结果的 PSNR、FID、LPIPS 分别为 28.52、5.64、0.075;使用
组合后,PSNR 提升至 29.59,LPIPS 降至 0.070,但 FID 上升到 6.69。也就是说,组合带来的收益要结合具体指标判断,而不是所有指标都会同时改善。
在 ImageNet 上,168 步 DDIM 的 PSNR、FID、LPIPS 分别为 26.50、5.22、0.099;取后变为 27.57、5.14、0.091,三项指标均有改善,体现了组合在部分情况下可以同时提升两类质量。
论文 Figure 3:FFHQ 与 ImageNet 上不同推理长度、组合系数的失真—感知曲线
Figure 3 在 DDPM、DDIM 下比较不同日程长度与的组合效果,固定
,并将
从 0 扫描到 1。图中同时展示改变推理长度的基线轨迹,以及固定日程、改变组合系数的曲线。整体趋势表明,组合提供了比单纯改变步数更有利的质量选择。
论文 Figure 4:FFHQ 数据集上不同噪声强度下的 DDIM 权衡曲线
Figure 4 将噪声强度扩展到 \(\rho=15、25、50\),检查方法是否只在单一噪声等级下有效。尽管不同噪声对应不同的匹配时刻和推理长度,组合仍能形成可调的权衡曲线,支持同一预训练模型适配多种噪声强度的目标。
论文 Figure 5:BSD68 与 ImageNet 上不同指标下的 DDIM 权衡曲线
Figure 5 将比较扩展到 BSD68 和 ImageNet,并观察 PSNR-FID、PSNR-LPIPS 等指标组合。它说明有利权衡不只出现在 FFHQ 或单一感知指标下,但不意味着任意数据集、噪声等级和 \(\lambda\) 都会让所有指标同步提升。
5.2 与现有去噪方法的比较
论文 Table 2:LCDD 与 Restormer、MambaIR、DOT Restormer 在 BSD68、Kodak24、McMaster 上的比较
Table 2 在不同噪声强度下比较了 LCDD 与 Restormer、MambaIR、DOT Restormer。整体来看,Restormer 和 MambaIR 在偏重像素保真的设置下表现较强,而 LCDD 能通过组合系数在 PSNR 与感知指标之间灵活调整,并在部分设置中同时取得更好的结果。
例如,在 BSD68、\(\rho=15\) 时,MambaIR 的 PSNR 为 34.48、FID 为 16.39;LCDD 取 \(\lambda=0.6\) 时,PSNR 为 34.37,仅低 0.11,而 FID 降至 9.83。这个结果说明,在 PSNR 几乎不变的情况下,LCDD 可以明显改善感知指标。另一个更突出的例子出现在 McMaster、\(\rho=50\):MambaIR 的 PSNR 为 30.35、FID 为 61.28;LCDD 取 \(\lambda=0.2\) 后,PSNR 提升到 32.34,FID 降到 20.58,两个指标同时改善。
这些结果支持 LCDD 在所测设置中的竞争力,但论文也指出,其扩散模型训练数据更多、模型容量更大,因此不能把全部性能差异都归因于线性组合。更稳妥的结论是:线性组合为预训练扩散模型提供了简单有效的质量调节方式。
论文 Figure 7:不同数据集上的去噪可视化结果
Figure 7 展示 FFHQ、BSD68、ImageNet 样本,以及 DDPM 与 DDIM 的输出。单步结果较平滑,长日程结果更自然但可能偏离真实细节,组合则在细节保真与自然纹理之间提供不同选择。可视化补充了 PSNR、FID 等数字难以直接呈现的差异。
5.3 推理效率与实验边界
LCDD 从匹配到的扩散时刻开始去噪,并允许使用比完整日程更短的子序列,因此在部分噪声等级下可以减少神经网络函数评估次数。论文在
的实验中对应的最大日程为 168 步,而标准扩散模型通常使用更多的训练时间步。但本文没有给出完整的端到端延迟或吞吐量对比表,因此不能仅凭步数就推断其在所有硬件上都更快。
作者指出,扩散模型的计算复杂度仍高于非扩散式去噪器。本文证据集中在加性高斯噪声去除及指定数据、噪声强度下的评估;未知噪声估计误差、其他退化类型和部署速度仍需进一步验证。论文没有单独的模块删减式消融表,主要通过推理步数、组合系数和噪声强度扫描来分析设计。
六、总结与思考
如果把这篇论文压缩成一句话:LCDD 不重新训练一个去噪模型,而是从预训练扩散模型的不同推理路径中取出互补结果,再用一个标量控制它们的线性组合,从而获得更灵活的失真—感知权衡。
这项工作的价值不在于引入复杂的新网络结构,而在于重新利用扩散模型已有的推理行为:短日程偏向信号保真,长日程偏向自然图像分布,二者之间存在可以直接利用的互补性。通过合适地选择组合端点,简单的图像线性组合在多个实验设置下就能改善质量曲线,部分情况下甚至能同时改善 PSNR 与感知指标。
从工程角度看,LCDD 的优点是无需额外训练、调节方式直观,并且可由一个预训练模型处理不同噪声等级;代价则是仍需运行扩散网络,计算开销不能与轻量级去噪器直接等同。实际使用时,应根据任务偏好选择:更在意还原输入时提高
,更在意自然纹理时降低
。同时,应把论文中的 SOTA 结论理解为特定模型、数据和评估协议下的实验结果,而不是不受条件限制的全面领先。