大家读完觉得有有帮助记得关注和点赞!!!
摘要 遥感和无人机应用需要能够跨平台和视角泛化而无需特定任务训练的模型。然而,无需训练的流程常常在有向几何、尺度/旋转变化以及拥挤的港口或机场中表现不佳,并且很少统一检测与分割。我们提出了 ZODS-RS,一个无需训练、闭式的流程,可输出水平框(HBB)和实例掩码。基于 DINOv3 稠密特征和 SAM2 风格的提议,ZODS-RS 链式集成了:PP(通过 Tyler 协方差进行原型净化)、R-SEM(使用可分离核和全局匈牙利分配实现旋转-尺度等变匹配)以及 UAM(结合自适应先验和可选负原型的不确定性感知逐像素融合)。一个轻量级的 CWLA 融合多个 DINOv3 层。
在 FAIR1M(HBB)上,我们获得了 mAP₀.₅₀:₀.₉₅ = 13.06 和 AP_S = 2.93(对船舶/飞机进行类别平均);在 xView(HBB)上,我们报告 mAP = 16.69。在我们自建的 UAV 数据集上,ZODS-RS 实现了掩码 mIoU = 31.10,并在单个 5090 上相比于 Grounded-SAM 将小目标 AP 提升了 +30.70。
这项工作为航空影像中的水平框检测加实例分割提供了一个统一的、无需训练的解;提供了与 DINOv3 紧密耦合的 PP/R-SEM/UAM 的显式闭式表达;并在保持部署简单的同时,在小目标、拥挤场景和跨领域偏移下展示了一致的性能提升。
1. 引言
来自卫星和低空无人机的遥感图像具有超高的分辨率、显著的有向几何(OBB)、剧烈的尺度变化以及跨平台和视角的拥挤布局。这些因素使得提议生成和匹配变得困难,尤其是当图像每边包含数千像素且实例密集或细长时(例如船舶、飞机)。公开基准测试体现了这些挑战:FAIR1M 在大尺寸图块中提供任意方向的边界框,而 xView 则强调在变化分辨率下的细粒度类别和小目标 [14, 26]。
每项任务训练和跨领域适应的成本推动了无需训练流程的发展,但当稠密特征不可分离、提议质量不稳定或缺乏跨图像记忆时,这类流程常常性能下降。开放词汇检测和组装式方案通过语言对齐编码器或模块化分割器提供帮助,但性能对主干-提议协同和领域偏移仍然高度敏感 [18, 23, 20, 31, 6, 30, 10, 15]。像 SAM2 这样的基础分割模型提供了可提示的、高召回率的掩码,被广泛用作候选,但它们的效用取决于如何在无需训练的情况下组织稠密特征和下游匹配/融合 [21, 11, 8, 22, 21]。持续存在的差距在于:(i)旋转/缩放处理通常是近似的——有监督的有向检测器可以解决但需要(重新)训练 [4];(ii)原型脆弱,缺乏净化或稳定的子原型而随场景漂移;(iii)融合是粗糙的——集合级分配(如匈牙利算法)强制互斥但忽略了像素级的不确定性,在拥挤区域助长了过度自信的合并 [13, 16, 1, 9]。
图1:我们的方法直接在不同数据集上进行评估,无需任何微调 [2, 19]。参考集包含每个类别一张示例图像。以该参考集为条件,模型分割整个目标数据集。结果显示:(1)跨遥感尺度的强泛化能力——从卫星遥感扩展到低空无人机影像;(2)在无需训练或领域适应的情况下,单样本分割达到最先进的性能;(3)对不同尺寸图像的有效预测,无需分块或上采样。
我们的观点是:冻结主干的协同作用是遥感中无需训练感知的基础——DINOv3 用于鲁棒的多层稠密特征,SAM2 用于高召回提议,以及一个用于跨图像/领域检索的持久记忆。基于这一主干三元组,ZODS-RS 提供了一个闭式、无需训练的流程,通过三个仅推理阶段输出 HBB 和实例掩码:PP(原型净化)、R-SEM(具有全局分配的旋转-尺度等变匹配)和 UAM(不确定性感知的像素级融合)。我们使用轻量级 CWLA 稳定多层特征,作为语义门控,在无需微调的情况下抑制背景相似物 [24, 21]。本工作提供了一个无需训练、闭式的 DINOv3+SAM2+记忆流程,具有 PP→R-SEM→UAM 链(加上 CWLA),生成 HBB 和掩码。
在 xView[14]、FAIR1M[26] 和我们自建的 UAV 数据集上,ZODS-RS 获得了 HBB mAP₀.₅₀:₀.₉₅ 分别为 16.69(xView)、13.06(FAIR1M)和 47.30(UAV)。在统一的 HBB 协议下,ZODS-RS 在 xView 和 FAIR1M 上持续优于无需训练/OVD 基线,并在领域特定的 UAV 集上取得了更大的增益——表明了对定制数据无需任何训练或适应的实用泛化能力。在我们的 xView/FAIR1M 数值中,mAP₀.₅₀:₀.₉₅ 相比于最强基线提升了 +1.37 至 +4.47;在 UAV 集上提升了 +41.69 [18, 23]。
一个无需训练、闭式的流程,为航空/UAV 影像统一了检测和实例分割(HBB + 掩码),构建于冻结的 DINOv3 + SAM2 + 记忆三元组之上,并通过 CWLA 进行稳定。
与 DINOv3 紧密耦合的模块级数学公式:带 Tyler 散度和谱净化以及基于 OT 锚定的 PP;带可分离旋转/尺度权重和匈牙利分配的 R-SEM;带基于能量的不确定性和自适应先验的 UAM。
在 xView、FAIR1M 和自建 UAV 数据集上,在统一 HBB 协议下的经验性增益,在小目标、拥挤场景和跨领域鲁棒性方面具有明显优势——同时保持部署简单且无需训练。
ZODS-RS 将冻结主干与记忆的协同作用作为一等设计原则,并在 DINOv3+SAM2+记忆之上实现了 PP→R-SEM→UAM 推理链,解决了旋转、尺度变化、拥挤和领域偏移问题而无需微调。
2. 相关工作
2.1 无需训练 / OVD / 提示检测
近期在无需训练和开放词汇检测(OVD)方面的进展通常依赖于冻结的基础特征和强大的提议生成器,然后通过聚合或与文本先验对齐分数来产生伪标签或最终检测结果。OWL-V2 通过大规模网络自训练和文本条件检测器扩展了 OVD,表明鲁棒的语言-视觉先验可以显著减少对封闭词汇的依赖 [18]。Florence-2 提供了一个统一的、基于提示的表示,支持无需任务特定微调的定位和检测 [29]。在实践中,Grounded-SAM 将 Grounding DINO 与 SAM 组合,在文本提示下耦合开放集定位和高品质掩码,展示了一种广泛使用的两阶段方案 [23]。最近,“No-Time-To-Train” 通过一个以记忆和跨图像对应为锚定的分阶段流程,推动了无需训练、参考驱动的分割/检测 [5]。相对于这些工作,我们将冻结主干的协同作用——DINOv3 用于稠密多层特征,SAM2 用于高召回提议,以及一个用于跨图像/领域检索的持久记忆库——作为一等设计选择,并通过闭式的 PP→R-SEM→UAM 链来解决细粒度/尺度/拥挤问题,而不是将主干视为可替换组件 [20, 31, 6, 30, 10, 15]。
2.2 从 DINOv2 到 DINOv3 的稠密特征
DINO 系列表明,大规模自监督 ViT 可以提供强大的稠密特征,并在像素级和区域级任务上具有良好的迁移性。DINOv2 基于精选数据和稳定训练建立了鲁棒的方案,为下游检测/分割产生通用特征 [19]。DINOv3 进一步强调高品质的稠密对齐和后验灵活性(例如分辨率/模型大小缩放),报告了比之前的自监督/弱监督主干更强的稠密描述符 [24]。在 ZODS-RS 中,我们不仅仅是“交换”主干;相反,我们将 DINOv3 与轻量级跨层加权聚合(CWLA)和检索记忆配对,以增强跨领域偏移下的可分性和可检测性,同时保持主干冻结 [2]。
2.3 基于 SAM2 的遥感生成
可提示分割模型被广泛采用作为提议生成器。SAM 从稀疏提示提供类别无关的高质量掩码 [11, 22],而 SAM2 则改进了时间稳定性和流式效率,并越来越多地被用作可重用的分割引擎 [21]。然而,在航空/遥感影像中,小目标、弱纹理和极端尺度挑战了提议质量;关于“SAM in RS”的实证研究显示了混合的结果,以及对领域感知提示或过滤的需求 [8]。我们的设计将 SAM2 嵌入主干协同作用中:DINOv3 的稠密相似度图指导提议选择,而 R-SEM 的旋转-尺度核选择最能匹配净化原型的候选。
2.4 记忆库与原型检索
基于原型或记忆的检索在无需训练和弱监督设置中是一个反复出现的工具,但单均值原型和余弦评分对领域偏移和参考选择方差敏感。OVD 系统(如 OWL-V2)和统一模型(如 Florence-2)隐含地证明了语义先验和外部知识的效用 [18, 29]。ZODS-RS 使用 PP 构建了一个带有净化子原型的参考子集,在 R-SEM 匹配之前减少跨源噪声 [28, 26, 25, 17, 27, 3]。
2.5 拥挤场景中的等变匹配
遥感目标在方向和尺度上表现出巨大的变化;经典检测器依赖于多尺度金字塔或显式地融入旋转处理。旋转等变检测(例如 ReDet[7])集成了等变主干和旋转不变池化用于 OBB 预测 [7],而有向检测器如 RoI Transformer 在提议/ROI 层面显式处理几何 [4]。对于分配,DETR 系列通过匈牙利算法推广了全局二分匹配,为重叠和重复下的稀疏集预测提供了一个清晰的范式 [1]。我们遵循匹配精神——在 R-SEM 内部使用全局分配——但保持无需训练,并将其与闭式的尺度-旋转核耦合;像 DOTAv2 和 FAIR1M 这样的数据集凸显了在真实影像中进行这种处理的必要性。
2.6 像素不确定性与贝叶斯融合
不确定性建模区分了偶然性和认知性组成部分,并提高了稠密预测的鲁棒性;Kendall & Gal 形式化了广泛用于分割的逐像素公式 [9]。对于边界细化,全连接 Dense-CRF 仍然是一个有效的、轻量级的后处理器,与类别无关的掩码兼容 [12]。我们的 UAM 阶段在无需训练的条件下使用贝叶斯加权和可选的 CRF 细化进行不确定性感知的逐像素融合,以稳定重叠并抑制开放集干扰物 [16]。
3. 方法
图2:ZODS-RS 流程概览(无需训练)。参考分支(左上角):DINOv3 从参考 RGB 图块提取稠密 token;标注分割前景/背景 token。Robust-PP 估计 Tyler 散度,应用带有二元投影的谱净化,并生成净化原型 p̂,同时挖掘负样本。推理分支(底部):在测试图像上,DINOv3 提供多层特征,SAM2 提供高召回实例掩码/HBB。R-SEM 计算旋转-尺度等变响应并进行融合;CWLA 按一致性对层进行加权。融合(右侧):UAM 对重叠候选进行不确定性感知投票,并通过负通道抑制相似物,产生最终的 HBB 和掩码。所有步骤均为闭式或有限迭代,无需训练。
3.1 引擎:DINOv3 + SAM2 + 记忆
我们采用了一个无需训练、推理时的引擎(图2),它产生几何保真的稠密特征、高召回提议,以及一个由净化原型和信息性负样本组成的持久记忆,使得 PP / R-SEM / UAM 能够在没有梯度或 EMA 的高信噪比空间中运行。
稠密 token。 给定图像 I ∈ ℝ^{H₀×W₀×3},我们选择 L 个 DINOv3 层 L = {ℓ₁, …, ℓ_L}。在缩放到公共网格 (H, W) 并进行 L2 归一化后,特征张量和逐像素 token 为:
稍后的轻量级跨层融合(CWLA;第 3.4 节)形成 f̅_p,同时保留层级访问用于 R-SEM。
高召回提议。 SAM2 生成掩码 {M_i}{i=1}^P;每个掩码通过 minAreaRect(M_i) 导出一个边界框(HBB)B_i。我们保留通过稳定性检查(最小面积/分数、形态 IoU)的掩码,并执行 IoU 阈值为 τ_nms 的有向 NMS,得到集合
参考到记忆(R2M)。 用户标记的参考掩码——或一个具有高置信度和低不确定性的自举预测——通过一个闭式/有限迭代的例程被提交到类别 k 的记忆中。我们首先收集掩码内部来自 {F[ℓ]} 的参考 token,并可选地仅保留相对于初始锚点余弦相似度最高的 top-q%,同时侵蚀边界,得到一个清洁集 X_k = {x_j}{j=1}^n ⊂ ℝ^C。然后我们使用 Tyler 不动点(带迹归一化)估计一个无标度散度:
并设 Σ̂_k = Σ_T,当检测到小 n 或病态时回退到 diag(Σ_T) 或 I+εI。令 Σ̂_k = U Λ U^T,保留 top-r 轴 U_r,定义幂等的投影算子
参考(以及任何 token z)被白化和投影:
随后进行一次性的有界影响均值(M-估计器)并归一化,获得净化原型:
当文本/图像锚点 {g_m} 可用时,我们通过熵正则化最优传输可选地将 p̃_k 向锚点流形收缩:
并将在最终投影/归一化之前以权重 α 混合传输重心。为了抑制相似物,我们还在低先验区域(低范数/边际/注意力)挖掘负样本,并使用相同的白化-投影例程聚合它们,得到 {p̃_{k,j}^-}。提交的记忆条目为
以有限容量和闭式平滑(计数加权凸合并)维护,或者在分布发散时分支出子原型——仍然是无需训练的。
接口。 引擎输出 ℱ = {f̅_p}、ℳ = {(M_i, B_i)} 和 ℬ = {B_k}_k。R-SEM 消耗 p̂_k 和逐层 token 用于旋转-尺度匹配(第 3.3 节)。
3.2 Robust-PP
给定来自第 3.1 节的记忆元组 B_k = (p̂_k, Σ̂_k, {p̃_{k,j}^-}) 和类别参考 X_k = {x_j}{j=1}^n ⊂ ℝ^C,我们以无需训练的方式精炼原型和散度。我们首先使用 Tyler 不动点(带迹归一化)重新估计无标度散度:
并在 T 次迭代后设置 Σ̂_k ← Σ_T(有限且无梯度)。对于小 n 或病态情况,我们回退到 Σ̂_k ← diag(Σ_T) 或 I+εI(ε>0)。令 Σ̂_k = U Λ U^T 为特征分解,λ₁ ≥ … ≥ λ_C > 0。我们保留 top-r 轴 U_r = [u₁, …, u_r] 并定义一个熵门控的幂等投影算子:
所有 token(参考或候选)被白化和投影:
一次性的有界影响均值(M-估计器)给出:
OT-PP(可选)。 当语义(例如 Clip/Florence)锚点 {g_m}{m=1}^M ⊂ ℝ^C(文本提示或图像锚点)可用时,我们通过熵正则化最优传输将 p̃_k 向锚点流形收缩:
传输加权的重心
在最终投影/归一化之前以权重 α 可选地混合。性质:散度是无标度的;P_r 是幂等的;OT-PP 产生锚点感知的收缩;所有更新都是闭式或有限迭代的,无需梯度。输出:更新的 (p̂_k, Σ̂_k)(带或不带 OT 锚定),供 R-SEM 和 UAM 使用。
3.3 R-SEM
在推理时,检测器输出轴对齐的边界框 C_i(HBB)。对于每个 C_i,我们使用该框作为 SAM2 提示生成候选掩码 {M_{i,t}},选择一个稳定的掩码 M_i(例如最高掩码分数或与 HBB 的最大 IoU),并推导出有向框 B_i := minAreaRect(M_i)。我们应用最小面积/分数和形态 IoU 合理性检查,并在 IoU 阈值 τ_nms 下执行有向 NMS,形成 ℳ = {(M_i, B_i)}。这种转换是无需训练的,纯几何的。
令 f̅_p 表示逐像素描述符(第 3.1 节;CWLA 在第 3.4 节)。我们在多个尺度 s ∈ S 和角度 θ ∈ Θ 上评估类别条件响应:
其中 f̅_{p,(s,θ)} 通过尺度金字塔和可转向旋转获得(通过重采样/FFT 旋转实现,无需训练)。我们应用可分离的高斯权重:
并融合为一个旋转-尺度等变响应图:
对于每个 (M_i, B_i) ∈ ℳ,我们定义一个平衡显著性、覆盖率、形状和方向的成本:
这里 TopKMean_K(R|M) 平均 M 内部的 top-K 响应,Cover(R|M,t) = |{p∈M: R(p) ≥ t}| / |M|,Φ(B_i) 编码宽高比/紧凑性先验,Δθ 惩罚 OBB 角度与主导响应角度 θ(k)=argmax_θ ∑_{p∈M_i} S_k^{(s,θ)}(p) 的偏差。我们形成二分成本矩阵 [C_{i,k}] 并使用匈牙利算法(每张图像或图块)求解一对一分配。
3.4 CWLA(一致性加权层聚合)
给定从 token F[ℓ] 和原型 p̂_k 计算的逐层响应 R_k^{[ℓ]}(p),我们定义一个层级别的不确定性 U̅^{[ℓ]}(例如,对 k 进行温度缩放 softmax 后的空间平均熵,或能量 -τ log ∑k exp(R_k^{[ℓ]}/τ))。我们将不确定性转换为软权重:
并得到融合响应:
这种聚合是闭式、无需训练的,并通过在融合前用等变响应替换 R_k^{[ℓ]} 来与 R-SEM 对接。温度 σ 控制相对于层可靠性的选择性。
3.5 UAM
令 R_c(p) 为通道 c(类原型加上负通道;负样本来自 {p̃_{k,j}^-} 且从不被发射)的融合响应。我们使用自适应先验 A_c(p) > 0 构建像素对数几率:
定义像素不确定性 U(p) = -∑c π_c(p) log π_c(p)。对于分配给类别 {k_j}(第 3.3 节)的重叠实例 {M_j},我们通过不确定性感知投票进行融合:
开放集拒绝使用最大后验阈值 max_c π_c(p) < τ_open 或能量门控 -τ log ∑_c exp(R_c(p)/τ) > ϵ_open。一个轻量级的 CRF 可以可选地细化边界,同时保持分数不变(无需训练)。负样本仅作为 softmax 中的竞争通道,抑制相似物。
4. 实验
4.1 实验设置
4.1.1 数据集
我们在 xView、FAIR1M 和一个自收集的 UAV 集上进行评估;这些数据集都不用于训练。为了协调标签,我们将 xView/FAIR1M 合并为飞机、船舶,将 UAV 合并为墓地、建筑物。所有标注都表示为 HBB;当存在 OBB 时,我们将其转换为轴对齐的外接框(AABB)。对于支持掩码的方法,我们从 HBB 推导出 SAM2 提示的代理掩码(经过质量检查),并且仅将其用于评估。
4.1.2 任务与协议(单图像,无分块)
所有方法对每张图像进行一次前向传播,不进行裁剪/分块。主要任务是 HBB 检测。对于也生成掩码的方法(例如无需训练的分割流程),我们额外使用 SAM2 导出的代理掩码报告掩码指标。当需要开放词汇提示时,所有基线共享每个合并类别的相同规范提示列表(例如 ship, airplane, graveyard)和相同的文本预处理。
4.1.3 指标
我们报告 COCO 风格的 HBB mAP₀.₅₀:₀.₉₅、AP₅₀、AP₇₅ 和 AP_S(小目标 AP)。对于输出掩码的方法,我们额外报告每实例掩码 IoU 和 Dice。
4.2 基线与实现细节
4.2.1 基线
我们与 No-Time-To-Train(NTTT)、Grounded-SAM(Grounding-DINO + SAM)、OWL-V2、LAE-DINO 和 Florence-2 进行比较。除非另有说明,我们使用每个方法的官方推理设置,并在第 4.1 节的统一协议下评估 HBB 检测(单尺度、无分块、共享 NMS/阈值、对开放词汇变体使用相同的提示列表)。对于 OWL-V2,我们在一个小的验证子集上将分数阈值调整为 0.30,并使所有其他参数与共享协议对齐。由于 LAE-DINO 在 LAE-1M(包括 FAIR1M(通过 LAE-FOD)和 xView)上进行了预训练,在这些集上进行评估会导致训练-测试重叠。因此,为了保持协议不重叠,我们在本小节中仅在我们自收集的 UAV 数据集上报告结果,并省略 FAIR1M/xView 上的 LAE-DINO 比较。
4.2.2 实现细节(精简)
ZODS-RS 遵循第 3.1 节的引擎和第 3.2–3.5 节的模块:冻结的 DINOv3 稠密 token、SAM2 高召回提议和一个持久记忆库,供给 Robust-PP、可选的 R-SEM、CWLA 和 UAM,全部在无需训练的模式下。具体地,我们使用 DINOv3(sat-ViT-L),多层 token 来自层 [8, 10, -1] 并带有一个注意力先验;SAM2 为 hiera-large,points_per_side=32,iou_thr=0.4,nms_thr=0.5,num_out_instance=100。Robust-PP 使用 Tyler 散度(迭代=20,容差=1e-4),谱截断 top_r=32。CWLA 在层 [8,12,-1] 上启用,使用一致性度量,温度 σ=0.15 并激活自动温度,产生一个不确定性感知的融合,保持无梯度。
UAM 使用温度 τ=1.0 并带自动 τ(熵目标 0.9,范围 [0.5,2.0]),在对数几率域组合先验,强度 γ=1.5,分量权重 (a,b,c)=(0.5,0.5,0.2),启用负原型(数量=3,最小面积=128)以抑制相似物,并应用轻量级 CRF(迭代=10,sxy=[3,3],srgb=[5,5,5])进行边界细化。HBB-NMS IoU τ_nms=0.50,掩码二值化 τ_mask=0.50。推理在单张 5090 GPU 上以 FP32 运行。
4.3 实验结果
图3:单样本跨领域结果。通过全图推理,ZODS-RS 在拥挤场景中干净地分离重叠实例,同时保持细粒度的定位,这得益于 PP、R-SEM、CWLA 和 UAM。
评估设置与说明。 我们采用无需训练、跨领域的协议。对于船舶/飞机,每个类别使用一张 FAIR1M 参考图像来评估 FAIR1M 和 xView;对于 UAV(墓地),第一张图像作为参考,我们在整个集合上进行评估。推理是在全图上单尺度进行的(无分块/上采样)。基线使用默认阈值,但 OWL-V2 除外(score=0.30)。我们报告 COCO 风格的 HBB 指标(mAP₀.₅₀:₀.₉₅、AP₅₀、AP₇₅、AP_S);仅对支持掩码的方法报告 IoU/Dice。由于 LAE-DINO 在包含 xView/FAIR1M 的语料库上进行了预训练,我们仅在 UAV 上报告以避免训练-测试重叠。
UAV 数据。 总体而言,ZODS-RS 实现了 mAP 47.30,远远超过所有基线(次优 Florence-2:5.61,即约 8.4 倍)。AP₅₀ 为 50.31(约 8.3 倍),AP₇₅ 为 48.25(约 8.0 倍),AP_S 为 33.65(约 11.4 倍)。在掩码上,ZODS-RS 达到了 IoU 31.10,而 Grounded-SAM 为 16.62(约 1.87 倍),Dice 为 42.71 对 24.24(约 1.76 倍)。LAE-DINO 得分 mAP 0.93 和 AP₅₀/₇₅ 1.27,比 ZODS-RS 落后 >50 倍。这些结果表明,单样本记忆 + 全图推理在定制、非标准分布中提供了强大的实用性(表 1,图 4)。
FAIR1M(参考来自 FAIR1M)。 船舶。ZODS-RS 达到 mAP 23.93,优于 Florence-2 20.38、OWL-V2 16.32、Grounded-SAM 15.55 和 NTTT 6.22。相对于最强基线(Florence-2),增益为 +3.55 mAP(+17%)、+13.78 AP₅₀(+47%)和 +8.01 AP₇₅(+40%)。在 AP_S 上,OWL-V2 的 5.93 超过我们的 4.84(-1.09),表明在我们的无分块约束下,极小的目标仍然是一个召回瓶颈。在掩码上,ZODS-RS 产生 IoU 56.57 / Dice 67.92,明显高于 Grounded-SAM 的 33.26 / 41.79 和 NTTT 的 21.21 / 29.46,反映了更强的边界保真度和一致性。飞机。Grounded-SAM 达到最高 mAP 3.01;我们的为 2.19,Florence-2 为 2.01,OWL-V2 为 1.62,NTTT 为 0.82。AP₅₀ 遵循相同的顺序(16.22 > 我们的 11.96)。在更严格的 AP₇₅ 下,ZODS-RS 得分为 0.67,超过 Florence-2 的 0.28、OWL-V2 的 0.13 和 Grounded-SAM 的 0.00,表明尽管总体 mAP 较低,但在高 IoU 下定位更精确。掩码质量也优越(IoU 55.15 / Dice 68.79 对比 Grounded-SAM 的 23.76/29.66 和 NTTT 的 16.72/19.36)。(表 1)
xView(参考来自 FAIR1M;跨领域)。 船舶(跨领域)。ZODS-RS 以 mAP 13.07 领先,领先于 Florence-2 11.45、Grounded-SAM 8.07、OWL-V2 7.16、NTTT 3.77;AP₅₀ 18.43 和 AP₇₅ 15.10 也是最高的。在 AP_S 上,OWL-V2 的 2.03 略高于我们的 1.82(-0.21)。在掩码上,Grounded-SAM IoU 22.25,我们的 19.36,而 Dice 我们的 25.02 对 23.52,暗示即使原始重叠滞后,我们的融合也能使边界一致性受益。飞机(跨领域)。ZODS-RS 达到 mAP 20.31,显著高于 Florence-2 13.00、Grounded-SAM 4.73、OWL-V2 4.07、NTTT 1.97(>+56% 相对于 Florence-2)。AP₅₀ 39.90 和 AP₇₅ 24.62 也同样占主导地位(AP₇₅ 约为次优的 3.4 倍)。掩码达到 IoU 24.03 / Dice 33.62,轻松超过 Grounded-SAM 的 15.96 / 10.03。(表 1)
总结。 (i) 在 UAV 数据上,ZODS-RS 在检测和分割方面显示出大且一致的增益,直接支持“用户特定数据集”的用例。(ii) 在跨领域设置(FAIR1M→xView)中,ZODS-RS 在船舶和飞机的 mAP/AP₅₀/AP₇₅ 上领先或持平,在 xView-飞机上尤其具有较大的优势。(iii) AP₇₅ 和掩码质量(IoU/Dice)反复倾向于 ZODS-RS,表明即使总体 mAP 不是最佳时(FAIR1M-飞机),也能实现精确定位和稳定边界。(iv) 在 FAIR1M/xView 的船舶上,AP_S 相对于 OWL-V2 略低,这与无分块评估一致;更密集的尺度网格或轻量级放大启发式方法是有希望的补救措施。(v) 在统一的零训练协议下,使用单样本参考,ZODS-RS 提供了可复现的、跨数据集的增益。
表1:HBB 结果。“ship/airplane/graveyard” 表示活动类别(1=活动)。IoU/Dice 仅对支持掩码的方法。OWL-V2 使用 score thr.=0.30。LAE-DINO 仅在 UAV 上报告。
(表1内容已在前文格式中给出,此处省略避免重复)
4.4 消融研究
我们在统一的、无需训练的协议(单尺度、全图、单样本参考;HBB 指标)下,按步骤分析了设计 base → pp → pp+sem-cwla → all(pp+sem-cwla+uam)。如表 2 所示,在用户定义的 UAV 集上,性能从 base 到 pp 增长,然后在 pp+sem-cwla 处显著跃升,最终在 all(pp+sem-cwla+uam)处以大幅优势达到顶峰。具体地,base 产生 (0.74/0.74/0.74) 的 mAP/AP₅₀/AP₇₅,pp 将其提升到 (2.93/2.97/2.97),pp_sem+cwla 提升到 (16.68/17.21/16.86),而 all 提升到 (47.30/50.31/48.25)。这一轨迹表明:(i) pp 将参考和候选特征对齐到更具可比性的散度,改善了宽松和严格的 IoU;(ii) 添加 sem+cwla 通过旋转/尺度处理和跨层一致性进一步稳定了匹配;(iii) 完整的系统与 uam 通过不确定性感知融合和先验重加权巩固了重叠候选,共同推动检测质量和几何保真度。
在 FAIR1M 和 xView(跨领域)上,趋势一致但表达了召回和定位之间的不同权衡。在 FAIR1M 上,pp 将 AP₅₀ 从 0.00 急剧提高到 18.18,而 mAP 波动;pp+sem-cwla 将 mAP 稳定在接近 base 的水平;而 all 在降低 AP₅₀ 的同时开启了严格的定位(AP₇₅=0.67)——表明更保守的召回但提高了高 IoU 精度。相反,跨领域的 xView 在 pp 和 pp+sem-cwla 期间保持低位,仅在 full 组合下才激增到 (20.31/39.90/24.62),这表明当领域偏移显著时,等变匹配、一致性加权融合和不确定性感知融合的组合是必不可少的:一旦完整流程激活,召回(AP₅₀)和严格定位(AP₇₅)共同上升。总体而言,消融显示了一个连贯的机制:pp 主要纠正分布失配(召回优先),sem-cwla 强制几何一致的对应和鲁棒的跨层证据,而 uam 正则化像素级竞争和重叠,以产生跨领域的稳定实例决策。
表2:消融结果。在三个数据集上的逐步评估;数值为 mAP/AP₅₀/AP₇₅。
(表2内容已在前文给出,此处省略)
5. 结论与未来工作
在本工作中,我们提出了 ZODS-RS,一个用于航空感知的无需训练、闭式流程,它耦合了冻结的 DINOv3 稠密 token、SAM2 提议和一个具有三个仅推理操作符的持久记忆——PP 用于原型净化,R-SEM 用于具有全局分配的旋转-尺度等变匹配,以及 UAM 用于不确定性感知的逐像素融合——并通过轻量级 CWLA 进行稳定。在统一的 HBB 协议下,ZODS-RS 相比无需训练/OVD 基线产生了一致的增益:在 xView 上 mAP₀.₅₀:₀.₉₅ 为 16.69,在 FAIR1M 上为 13.06,在我们自建 UAV 集上为 47.30,其中掩码 mIoU 达到 31.10,小目标 AP 相比于 Grounded-SAM 提高了 +30.70。消融实验(base → pp → pp_sem+cwla → all)证实了分布对齐、具有跨层一致性的等变匹配以及不确定性驱动融合的预期作用。
对于未来的工作,我们旨在将 HBB 输出扩展到真正的 OBB 和 UAM 内的形状感知掩码;通过轻量级分块/放大和更密集的 R-SEM 尺度/角度网格来改善小目标召回;在线调整先验和记忆(自动 τ、γ、λ 校准;检索感知的子原型增长/修剪);通过 Florence/CLIP 收紧语义门控以处理开放集干扰物;利用 SAM2 流式和短期轨迹片段实现时间稳定性;通过 ONNX/TensorRT、内核融合和混合精度进一步优化部署;在额外的 RS/UAV 数据集上扩大评估,并发布参考划分;以及通过校准的不确定性、弃权以及可选的人机协同审查来增强可靠性,用于安全关键工作流。