企业官网建设流程全解析

DarkVGGT

NeurIPS 2026 · RGB-T 低照度 3D 几何使热成像能够在黑夜中补充几何，而不能让白天的能力一起减弱

很多前馈式的3D重建模型，在白天的时候就已经很强大了，但是到了夜晚之后，RGB纹理、颜色以及跨视角对应关系都会一起变得比较薄弱。DarkVGGT 的出发点并不是要“重新创造一个夜晚的模型””，而把热成像看作选择性纠错证据RGB 可靠的时候就不要插手了，RGB 失效的时候再补充结构。

本文所讨论的矛盾为：夜间性能提升与白天先验保持往往互相牵制。作者把这种代价叫做“daylight tax”，围绕着这个概念设计了物理热分解、几何共享路由以及thermal dropout三重限制。

从结果来看，DarkVGGT 在ViViD++、STheReO、Dark3R这三个低可见度基准上同时提高了深度和相机位置；同时，在ETH3D和ScanNet++的RGB-only测试中，仍然接近原始VGGT。这并不是简单的把热图粘到网络上而是一个“什么时候相信热、相信热的部分是什么、怎样不破坏RGB先验”的融合问题。

01

核心信息

论文标题：DarkVGGT: Seeing Through Darkness Using Thermal Geometry without Daylight Tax

作者：Minseong Kweon, Wenyuan Zhao, Nuo Chen, Lulin Liu, Huiwen Han, Zihao Zhu, Srinivas Shakkottai, Chao Tian, Zhiwen Fan

单位：University of Minnesota；Texas A&M University；Stanford University

论文链接：

https://arxiv.org/abs/2606.11326

代码链接：

https://github.com/phai-lab/DarkVGGT

项目主页：

https://darkvggt.github.io

一句话概括：DarkVGGT 用 VGGT 作为几何主干，并且通过物理启发热分解和几何共享热路由把热成像中更加可靠结构的信息注入到RGB中，然后用RGB 先验保持限制了夜间适应能力之后，白天的能力就会受到损害。

论文指出，热成像不是一种“干净的几何传感器”：它还受到表面自发辐射、发射率、温度和反射红外的影响。因此，热信息也必须进行拆分、筛选不是直接拼接在一起的。

使问题由原来的“多一个模态是不是更强大””转为“如何只把几何上一致的热证据送到RGB"。本文和普通的RGB-T融合最大的不同就是这里。

动机是白天把已经具备RGB几何能力的设备锁起来，到了晚上再用热成像来加强低照度的感知。

02

创新点：热信息并不是越多越好

第一层是物理启发式热因子化作者把热token分成偏发射(emissive)和偏反射(reflective)两种类型：前者更倾向于保留与表面温度、几何有关的主要信息，后者的高通残差可以突出局部的变化，并且用来承载有可能有用的或者可能会产生误解的反射成分。

第二层是Geometry-Shared Thermal Routing。它不会直接把thermal特征塞给RGB，而是把thermal token再拆分成“几何共享”和“热模态私有”两个子空间，只让共享部分以残差的形式进入RGB。私有分支不会参与到主几何的注入中来主要用来进行重建和可靠性估计。

第三层为训练约束，在RGB为主导的场景中随机去掉thermal分支，并用冻结的base-VGGT对RGB-only输出进行锚定。它的目的并不是把适配模型变成另外一个网络，而是在夜晚的时候增强它的能力的同时，尽量保持原来的活动。

完整的结构是热分解和GSTR被插入到VGGT的Alternating Attention模块中，最后得到的是深度和相机参数。

03

核心方法：从物理热分解到可靠性路由

在第个AAblock，作者首先用RGB和thermalpatchtoken来构造联合特征并预测每个patch的伪发射率与伪反射率。两者被限制在互补的关系中，利用不透明表面热辐射中的物理直觉。这属于归纳偏差，并不是直接测量得到的真实发射率。

接收到 emissive/reflective embedding 后，两个门控分支根据 patch 决定自己对于 RGB 的修正程度。直观上，网络并不是在询问是否有热信息而是在问，“现在这条热信息值多少钱？”

之后 GSTR 将 thermal token 拆分成 geometry-shared 和 thermal-private 两个部分，并且把RGB映射到共享子空间里去。shared 分支学对齐，private 分支学保留模态特有信息两者之间通过蒸馏、重构以及去相关性损失来相互制约。

真正把RGB输入的时候，作者用可靠性门控来控制残差大小：当RGB已经具备了足够的结构时，门就可以趋向于小。当RGB非常欠曝而thermal仍然清晰的时候，门控才会更加积极。这就是“选择性纠错”在 token 层的表现形式。

在训练阶段总的损失仍然以VGGT为主任务监督为核心，再加上physics、GSTR和dropout-preservation等项。辅助损失权重被限制在一个较小的范围内不能把预训练几何先验拉得太远。

物理启发热分解：发射主导分支和反射残差分支在patch层上被明确地分开。

04

实验结果：夜里比白天多缴税

在深度估计方面，Table 1 中 DarkVGGT 在三个低可见度的数据集上都取得了该表中最好的结果。与RGB-T基线SEAR相比，在三个数据集中平均AbsRel由0.2010降到0.1373；从 0.6901 升到0.8243；RMSElog由原来的0.2906降到现在的0.2232。

相机位姿部分，论文报告了DarkVGGT的平均RRA@30/RTA@30/AUC@30分别为0.993/0.890/66.3；SEAR为0.857/0.693/47.7继续提高。需要注意的是，在VGGT上本身就已经很强大了，所以不能仅仅从一个数据集下“赢了多少”来评价它。

白天的能力保持就是另外一条线。在ETH3D和ScanNet++的RGB-only测试中，DarkVGGT和原始VGGT的平均差距非常小：平均只相差0.0008，平均RRA@30一样，RTA@30仅仅降低了0.02。这就支持了“减少日间税”这一设计目的但是并不能保证所有的白天指标都是没有影响的。

低可见度深度估计的结果；DarkVGGT 在三个样本的主要深度特征方面都表现得非常好。

上半部分为低可见度位姿估计，下半部分为ETH3D/ScanNet++白天RGB-only性能保持。

05

消融和观察

Table 4 显示，单独使用 LoRA 只能带来很小的增益；加入Phys之后，AbsRel由原来的0.1658降到现在的0.1422，AUC@30也由原来的67.8升到了现在的68.9，这是更加明显的单模块提升。GSTR 单独增加的增益比较小，但是和 Phys 组合之后，完整的模型把 AbsRel 也进一步压低了0.1373。

参数成本也很重要：完整的模型可以训练出的参数大约为124.34M；论文把full AA fine-tuning和604.73M进行比较，并称可以减少79.4%的可训练参数。推理的速度由原来的9.0FPS左右下降到7.4FPS。这就说明了增强并不是零成本但是主要开销仍然小于全部微调。

Figure 5 的可视化非常直观：夜晚欠曝区域的injectionmagnitude更高，而在白天纹理丰富的时候整体注入量会比较低。门控已经学会了在RGB失效的地方更加需要thermal的行为模式；但是这些可视化仍然属于机制证据，并不能保证对于所有的传感器、天气或者错配条件都具有稳定的泛化能力。

模块和损失融合：Phys 提供的主要单模块增益为 Phys，GSTR 与之互补。

夜晚或者日间场景的可靠度门控注入可视化、以及白天RGB-T深度结果。

夜间三维重建定性对比：DarkVGGT 的点云和相机轨迹更加稳定。

06

总结和边界 · 该路线适用于哪些类型的问题

DarkVGGT的价值不只在于“RGB+Thermal做3D”。更重要的是，把多模态融合拆分成三个问题：把thermal里面哪些更可信然后再确定哪些结构可以被跨模态共享，最后再决定什么时候才需要修正RGB。该思路对于多模态融合有很大的启示。

论文中也给出了边界条件：实验假设RGB-T输入为中等程度对齐弱对齐或者完全没有配对的情况需要另外增加对应的或者校正的机制；另外，残差尺度、稀疏约束和 fusion budget 等超参数可能会受到传感器校准的影响。

把DarkVGGT放到大范围的多模态研究脉络中去的话，它所展示出来的就是一种“保守融合”的范式：使辅助模态来补充不足的地方，并不是去修改主模态已经学习好的能力。对于夜间机器人、自动驾驶和低能见度三维感知等，这样的设计逻辑要比单纯的追求更深的融合层次更有价值去探讨。

和SEAR相比，在暗室中所表现出的差别更加明显。

往期推荐