大家读完觉得有帮助记得关注和点赞!!!
摘要
非合作目标的单目 6-DoF 姿态估计对在轨服务和碎片清除很重要。单图像估计器可能混淆近对称航天器朝向,而跟踪可能保持错误姿态。我们提出假设锚定跟踪(HAT),一种因果框架,利用帧间运动在对齐和融合之前,在竞争的基于 CAD 的姿态假设中进行选择。HAT 不是独立选择每张图像中得分最高的假设,而是保留竞争的朝向历史,并选择一个姿态来锚定单目 SLAM 估计的相对轨迹。稀疏锚点和姿态融合在初始化后提供逐帧估计,而不修改过去输出。该方法仅需要校准 RGB 序列、度量 CAD 模型和目标图像区域,后者可由检测或分割提供。预训练姿态和 SLAM 网络无需目标特定训练或微调。我们评估两个版本 Mega-HAT 和 Pico-HAT,分别使用 MegaPose 和 PicoPose,在 SPARK-2024、SwissCube 和 SHIRT 上,并用 YCB-Video 评估太空领域之外的性能。每种方法使用一个时间配置,四个数据集比较的算术平均值显示:相对于独立 MegaPose,Mega-HAT 平均姿态误差低 9.4%,持续输入 FPS 为 3.76 倍;相对于独立 PicoPose,Pico-HAT 平均姿态误差低 23.9%,FPS 为 2.42 倍。在 SPARK 上的 Mega-HAT 消融和离线参考检查了组件贡献及修改过去估计的影响。
索引词: 航天器姿态估计,6-DoF,单目,新物体姿态,视觉 SLAM,姿态融合,近对称,Viterbi,因果估计。
I 引言
在轨服务和主动碎片清除需要目标航天器相对于接近追踪器的姿态。我们考虑由校准单目相机观测的非合作目标,无基准标记或遥测。与立体或主动测距相比,单相机减少传感质量、功率和系统复杂度 [1]。
航天器姿态估计在恶劣光照下很困难,深阴影和亮反射遮蔽表面细节。在远距离,目标仅覆盖少量像素,使这些细节更难区分。近对称结构在不同朝向下可能看起来相似。单图像估计器可能选择看似合理但错误的朝向。独立逐帧决策丢弃运动证据,而局部跟踪可能继续跟随错误朝向。
我们的框架 HAT 保留竞争朝向历史,并利用帧间运动在对齐和融合之前选择绝对姿态。所选姿态锚定单目 SLAM 估计的相对轨迹。度量 CAD 模型提供单目图像无法确定的尺度。我们使用 MegaPose [2] 或 PicoPose [3] 作为绝对姿态估计器实现两个版本,分别命名为 Mega-HAT 和 Pico-HAT。二者使用相同时间框架,具有单独参数设置,且预训练网络无需目标特定训练或微调。
本工作提出三项主要贡献:
• 融合前的因果多假设选择。 我们的主要贡献是在对齐和融合之前保留竞争朝向历史并利用相对运动选择当前绝对姿态锚点。解码器为每个当前候选保留分数,而非承诺单一朝向历史。融合随后将所选锚点与相对运动结合。这种顺序解决了局部跟踪单独可能保持的错误朝向。
• 跨数据集和绝对估计器的评估。 我们在三个航天器基准和 YCB-Video [4] 上评估两个版本,每个版本跨数据集使用一个时间配置。
• 组件消融和在线/离线对照。 我们在 Mega-HAT 和 SPARK 上使用组件消融,以识别融合前选择和尺寸加权较小、配置依赖效应的贡献。在线/离线对照检查未来观测和保留状态的影响。
II 相关工作
单目航天器姿态估计。 主流方法回归预定义 3D 地标并针对已知几何求解 PnP [5]。此类方法在 SPEED、SPEED+ 和 SPARK-2024 基准上取得领先结果 [6, 7],但需要来自目标航天器的地标和训练图像,并且对合成到真实差距敏感 [8, 9]。
时间和序列方法。 先前工作使用导航滤波器 [10]、序列网络 [11] 和跨域跟踪 [8]。Sosa 等人 [12] 将光流添加到目标训练的 ViT 以定位航天器关键点。Zhang 等人 [13] 迭代细化重建关键点模型和多任务预测网络,然后施加运动一致性。我们的方法在融合前显式保留竞争朝向假设,第 V-C 节比较离散选择与连续状态滤波器。
新物体姿态。 MegaPose [2] 使用渲染-比较网络进行粗略姿态排序和未见物体的迭代细化。PicoPose [3] 则通过渲染模板建立像素对应关系,通过全局仿射估计对齐它们,并在 PnP/RANSAC 之前细化局部对应偏移。我们在 Pico-HAT 中使用其公开实现和预训练模型。GigaPose [14] 检索模板朝向并从块对应估计剩余姿态参数。GenFlow 使用渲染到图像流 [15]。最接近的航天器系统 CroSpace6D [16] 结合 Mask2Former、MegaPose、ORB-SLAM3 和相似性对齐,但从训练图像重建目标网格。相比之下,我们的框架在相似性对齐和姿态融合之前,在竞争绝对朝向之间使用因果选择。
RGB 视频跟踪。 SRT3D [17] 从稀疏轮廓对应线和前景/背景外观估计姿态。它提供经典基于区域的控制和自动姿态初始化器。RGBTrack [18] 基于 FoundationPose,从度量 CAD 模型和掩码估计初始深度,并结合 XMem 与基于卡尔曼的恢复。我们评估其公开的仅 RGB 初始化和恢复路径。
视觉 SLAM。 DROID-SLAM [19] 使用密集对应和可微因子图。我们通过 Viterbi 解码 [20] 将其运动估计与离散 SO(3) 假设结合。
III 方法
III-A 框架概述
我们估计观测相机坐标系中刚性目标航天器的姿态。输入是校准 RGB 图像、度量 CAD 模型和目标框或掩码,后者在无未来观测下获得。阶段 1 将这些图像区域提供给绝对和相对分支(图 )。姿态和 SLAM 网络使用预训练权重,无目标特定训练或微调。绝对分支在计划关键帧提出度量目标在相机中的姿态;SLAM 在其自身坐标系和尺度中估计相对运动。阶段 3 使用外观和运动选择姿态,称为锚点。阶段 4 使用这些锚点将 SLAM 与度量目标坐标对齐,并组合两个估计。在帧 t,每个阶段仅使用 ≤t 的帧,且不修改已作为输出返回的处理帧姿态。
III-B 阶段 2:关键帧姿态假设生成
在关键帧 j,单图像姿态估计器返回最多 K 个假设 {(M_{j,k}, ℓ_{j,k})}{k=1}^K:公共物体坐标系中的度量姿态 M{j,k} ∈ SE(3),以及最大中心外观分数 ℓ_{j,k}。估计器可以使用渲染-比较推理、对应或其他基于 CAD 的过程。任何内部细化先于时间选择。关键帧遵循固定节奏或可用检测之间的最小间隔,无效候选被排除。阶段 4 提供锚点间姿态。
III-C 目标相对运动估计
我们增量运行 DROID-SLAM [19] 并进行局部优化,无全局轨迹优化,并保持每个逐帧估计在发出后固定。SPARK 和 SwissCube 使用整个帧并抑制背景。YCB-Video 使用未掩码图像,因为评估物体和背景形成移动相机观测的 largely 静态场景。SHIRT 的主要黑色背景无需额外掩码。当跟踪刚性目标或包含静止目标的场景时,状态 T_i^S = (R_i^S, t_i^S) 将相机置于目标固定 SLAM 帧中,与绝对姿态约定相反。阶段 4 因此反转它们。两个实现都使用式 (2) 定义的旋转增量进行选择。绝对 SLAM 朝向不直接使用,因为其规范任意且可能漂移。背景抑制鼓励相对分支跟随目标。其影响在第 V-D 节评估。
III-D 阶段 3:因果朝向盆地选择
近对称航天器允许竞争朝向盆地,即邻近朝向的组。解码器使用外观分数和关键帧间运动一致性评估候选朝向历史。对于每个当前候选,它在所有最终姿态为该候选的历史中保留最高累积分数。具有最高累积分数的候选被提议为当前锚点。这可以恢复错误排名的姿态,但不能恢复候选集中不存在的姿态。
令 j 索引计划关键帧,i_j 为其帧索引,k 为可用候选。姿态 M_{j,k} ∈ SE(3) 将目标映射到相机坐标,旋转 R_{j,k} 和外观分数 ℓ_{j,k} 由单图像估计器提供(越高越好)。方法使用缩放外观分数
其中 α > 0 是为每种方法选择的缩放因子,使 MegaPose 和 PicoPose 外观分数处于相似范围。两个配置使用相等尺寸权重;第 V 节定义尺寸依赖扩展。
SLAM 旋转将相机坐标映射到目标固定帧。增量
左乘 R_{j,k} 以预测下一朝向。令 d 为以度为单位的最小旋转角,μ > 0 为运动权重,通过观测关键帧的候选路径 π = (π_0, …, π_J) 最大化
前向 Viterbi 递推 [20] 为
其中 V_0(k) = ℓ̃_{0,k},缺失增量无运动惩罚。提议为 k_j = arg max_k V_j(k)。选择此锚点不丢弃其他端点分数:它们可以在后续关键帧支持不同朝向历史。
III-E 阶段 4:姿态融合与间隙处理
阶段 4 首先将 SLAM 与度量目标坐标对齐,然后从绝对和相对测量估计当前姿态。令 i 索引融合更新,M_i = (R_M^i, t_M^i) 表示可用的目标在相机锚点,T_i^S = (R_i^S, t_i^S) 将相机置于 SLAM 帧中。
度量对齐。 相似性 A = (s, R_A, t_A) 将 SLAM 距离转换为米,其中 s > 0,用 R_A ∈ SO(3) 将 SLAM 轴旋转到目标轴,并将 SLAM 原点定位在 t_A ∈ ℝ³。对齐后相机姿态 (R_i^F, t_i^F) 及其目标在相机逆 S_i(A) = (R_S^i, t_S^i) 为
对于任何目标在相机姿态 Z = (R_Z, t_Z),定义锚点差异 r_i(Z)。对齐拟合更新 t 前保留的锚点/SLAM 观测 ℐ_t,使用均匀置信度:
这里 [log(R)]^∨ 表示旋转矩阵 R 对应的旋转向量,角度以弧度为单位。因子 λ = 1 m/rad 平衡角度和位置不一致。存储平移向量的 Umeyama 对齐 [21] 提供临时初始化,随后进行带初始离群值拒绝的非线性细化。后续拟合从前一次对齐开始。
因果融合。 对齐固定后,相邻可用 SLAM 姿态给出 Δ^S_{i−1,i} = S_i S_{i−1}^{−1}。在零滞后下,仅当前姿态 X_i = (R_X^i, t_X^i) 自由;前一次输出 X̂_{i−1} 固定。绝对和相对残差为
其中 E_i = Δ^S_{i−1,i} X̂_{i−1} X_i^{−1} 具有旋转 R_E^i 和平移 t_E^i,w > 0 加权相对运动。当 R_M^i 和 R_S^i 之间角度超过 D 时乘数 g_i = 0.05,否则 g_i = 1。这削弱但保留不一致的绝对约束,而不识别哪个分支错误。缺失锚点省略一元残差;二元残差需要前一次姿态和两端 SLAM。将可用标量分量收集到 ℛ_i(X_i) 中,我们求解
这里 h_δ 是分量 Huber 损失,δ = 0.3 m,减少离群值影响;权重在损失前乘以残差。
IV 实验评估
我们在检查 SPARK 特定诊断之前总结基准结果。第 V 节隔离组件效应;第 VI 节讨论跨数据集结果和局限性。
IV-A 实验设置与评估指标
我们在 SPARK-2024 Stream-2 公共划分 [22, 23] 上评估,该划分包含 PROBA-2 在 Tz = 3–12 m 的合成 Unity 渲染。MegaPose、PicoPose 和 DROID-SLAM 使用公开预训练检查点,无目标特定训练或网络参数微调。时间参数单独设置,如下所述。SPARK 检测使用 Mask2Former COCO 实例分割版本 [24]。其他输入条件在第 VI 节指定。我们保持不变地报告 SPARK-2024 指标,与两个比较方法使用的定义一致 [16, 12]:
其中 E_t 以米为单位,E_q 以弧度为单位,逐帧计算并在每个数据集内平均。E_p 是主要姿态误差(越低越好),表中 E_q 以度为单位报告。对称感知 BOP 指标将 180° 翻转对对称物体评分为 ≈0,会掩盖此处研究的失败。我们全文报告 (E_t, E_q) 分解以及 E_p,并在 YCB-Video 上使用 E_p,覆盖其非对称物体(第 VI-A 节)。
Mega-HAT 使用 MegaPose 粗略排序和五个细化迭代,K = 10 个候选。Pico-HAT 使用三个原生 PicoPose 对应阶段和 PnP/RANSAC 产生 K = 5 个候选,推理时无 MegaPose 细化器。模板姿态在时间处理前转换到评估 CAD 帧。
每种方法在所有四个数据集上使用一个时间配置。表 I 给出两种方法的共享基准设置。锚点仅在可用检测机会查询,数据集特定输入准备遵循第 III-C 节。
表 I: 四数据集基准的共享时间配置。每种方法跨数据集使用相同设置。
参数组 | Mega-HAT | Pico-HAT |
|---|---|---|
绝对锚点 | 间隔 4,K = 10,五次细化迭代 | 间隔 6,K = 5,PicoPose 阶段 1–3,无 MegaPose 细化器 |
解码器 | α = 3,μ = 0.3 | α = 100,μ = 0.3 |
融合 | w = 0.002,D = 75°,预热 4,Huber 尺度 0.3 | w = 0.1,D = 30°,预热 4,Huber 尺度 0.3 |
不同 α 值考虑前端候选分数尺度,在平衡外观与运动一致性时:MegaPose 使用姿态 logits,而 PicoPose 使用对应/PnP 内点分数。PicoPose 通常更高的姿态精度和更长锚点间隔也促使单独调优 w,平衡相对运动一致性与基于锚点的漂移校正。
两种方法在每个数据集上保留所有时间阶段,间隙处理如第 III-E 节指定。
对齐更新。 融合在表 I 中锚点/SLAM 预热后开始。对齐通常每十次融合更新使用迄今收到的观测重新拟合。当四个连续锚点与对齐 SLAM 朝向偏差超过 D,但在 SLAM 旋转传播后彼此在 D 内一致时,重置对齐。新对齐从触发帧起应用;过去输出保持固定。
这些共享基准配置不同于用于消融、距离诊断和离线比较的 SPARK 调优 Mega-HAT 配置。其设置和敏感性检查在第 V-B 节给出。
IV-B 姿态精度、误差离散度和吞吐量
共享基准 Mega-HAT 配置在所有四个数据集上相对于独立 MegaPose 降低平均姿态误差(表 IV):SPARK、YCB-Video、SwissCube 和 SHIRT 上分别降低 21.3%、6.2%、7.3% 和 2.9%。Pico-HAT 在 SPARK、SwissCube 和 YCB-Video 上相对于 PicoPose 降低平均姿态误差,但在 SHIRT 上增加。
两个版本在每个数据集上相对于其独立估计器提高吞吐量并降低误差 SD。SD 衡量误差离散度,而非时间抖动。SHIRT 剩余 Pico-HAT 平均误差回归和 SwissCube 候选限制在第 VI 节检查。
表 II 在 SPARK 上比较两个 HAT 实现的因果和离线配置与运动感知 ViT。
表 II: 合成 SPARK 上因果和离线 HAT,调优时间设置。
配置 | E_t (m) | E_q (°) | E_p |
|---|---|---|---|
Mega-HAT,因果 | 0.442 | 10.82 | 0.2355 |
Mega-HAT,所有阶段离线 | 0.430 | 9.66 | 0.2125 |
Mega-HAT,离线 + 密集细化 | 0.348 | 9.52 | 0.2016 |
Pico-HAT,因果,调优 | 0.123 | 4.19 | 0.0886 |
Pico-HAT,离线,调优 | 0.104 | 2.81 | 0.0618 |
运动感知 ViT [12],离线 | 0.137 | 4.69 | 0.0990 |
IV-C 因果与离线性能比较
因果 SPARK 调优 Mega-HAT 配置达到 E_p = 0.2355,而离线为 0.2125(表 II):在无未来帧或修改过去输出下平均姿态误差高 10.8%。新鲜假设可以在后续关键帧有合适候选时校正当前朝向。
离线参考在 DROID 中使用两次全局束调整、带整序列门的解码器回溯,以及阶段 4 中所有帧姿态的联合优化。从所选锚点进行额外密集细化将误差降至 E_p = 0.2016(E_t = 0.348 m,E_q = 9.52°)。该轮在渲染和检测轮廓分歧时重新获取粗略姿态,并拒绝距锚点盆地超过 90° 的候选。
表 II 中两个 Pico-HAT 变体都比已发表的运动感知 ViT 结果 [12] 取得更低平移、旋转和姿态误差。这种离线关键点方法在目标航天器 PROBA-2 上使用 SPADES-RGB 训练,推理时需要未来帧。Pico-HAT 在因果和离线变体中都使用固定预训练网络。
IV-D 距离相关旋转和深度误差
超过约 7 m,粗略旋转和深度误差一起增加(图 2)。深度贡献 95.5% 的平移误差能量,在 11–13 m 处偏差为 −1.49 m。>90° 粗略姿态比例从 7 m 以下的 1.9% 上升到远距离的 34.1%。盆地外假设的中位深度误差为 −1.34 m,而盆地内为 −0.06 m。更小投影也抹去区分近对称朝向的细节。这些观察促使式 (11) 中的尺寸权重。
图 2: SPARK-2024 上外观选择的 MegaPose 假设的旋转误差和有符号深度误差 T̂_z − T_z,在细化后、时间选择前。标记显示地面真值深度 2 m 箱中的中位数,阴影显示四分位距。负深度误差表示低估深度。
V 消融研究
除非另有说明,消融使用 Mega-HAT 的 SPARK 调优配置,该配置在 SPARK 上达到 E_p = 0.2355,而其共享基准配置为 0.3254。这在具有有用姿态候选和可观测相对运动的设置中,为评估每个组件对精度的影响提供了表现良好的参考。
尺寸加权降低小投影的外观影响。对于像素平方的框面积 a_j 和表观尺寸 s_j = a_j,
这里 s_0 = 500 px 设定单位权重,γ = 2 为其下降,w_min = 0.05 为其下限;s_j = 250 px 给出 w_j = 0.25。该启发式在细节占据更少像素时偏向运动;它不是校准概率。共享基准配置使用 w_j = 1。该选择权重不同于检测区域融合置信度;第 V-B 节指定损失、预热和回退设置。
V-A 组件贡献
表 III 从跟踪开始,然后向基于关键帧的融合添加组件。改进主要是旋转的。盆地选择在相邻行之间给出最大比例降低,30.9%,其次是尺寸加权和不一致门的增益。尺寸权重在解码器必须贯穿远距离段保持所选盆地时最相关。
表 III: SPARK 上 Mega-HAT 的累积组件消融,全程因果。
配置 | E_t (m) | E_q (°) | E_p |
|---|---|---|---|
MegaPose 跟踪 | 0.471 | 28.13 | 0.5387 |
关键帧锚点 SLAM 融合 | 0.490 | 18.77 | 0.3788 |
+ Viterbi 盆地选择(阶段 3) | 0.469 | 12.20 | 0.2619 |
+ 尺寸加权一元 | 0.451 | 11.63 | 0.2504 |
+ 不一致门(D = 75°) | 0.442 | 10.82 | 0.2355 |
V-B 超参数敏感性
除非下文变化,设置为步长 10、K = 10、五次细化迭代、α = 1、μ = 0.3、w = 0.1、D = 75°,选择/融合预热为五/三次观测。尺寸权重遵循式 (11)。运行选择门使用 15° 邻域、最小中位计数 2 和 70% 覆盖限制。融合使用检测区域置信度、平方损失和零滞后。间隙传播 SLAM 旋转并保持平移。
在固定 K = 5 下,锚点步长 5/10/20/40 给出 E_p = 0.2802/0.2843/0.2820/0.3639。步长 5–20 在 K = 5 下误差相似,而步长 40 失去精度。在步长 10 下将 K 从 5 增加到 10,将 E_p 从 0.2843 降至 0.2355:解码器需要在足够关键帧处有正确盆地以形成路径。
对于尺寸加权,参考 s_0 = 300/400/500/600 给出 E_p = 0.2399/0.2377/0.2355/0.2371,而无尺寸加权为 0.2402。其与融合门的独立效应很小。没有门时,它将 E_p 降低 0.011,并在锚点处将 >90° 比例从 2.83% 降至 2.40%。门阈值 D = 45°/75°/120° 和关闭给出 0.2802/0.2355/0.2358/0.2504:过紧门降权有用锚点,而 75° 和 120° 表现相似。
融合权重 w = 0.05/0.1/0.25/0.5 给出 E_p = 0.2447/0.2355/0.2868/0.3745。非锚点姿态仅有相对边,因此 w 控制存在绝对锚点时的平衡。过大权重传播 SLAM 漂移,促使数据集特定操作点。
V-C 连续状态滤波器与动力学先验
我们将离散解码器替换为 SO(3) 上的粒子滤波器,它可以保留竞争朝向盆地,以及 UKF,其单高斯表示不显式保留独立模式。二者使用相同 SLAM 增量传播,使用相同候选分数更新,并发出候选索引,保持下游阶段不变。对于每个滤波器,我们报告在 SPARK 上通过超参数搜索找到的最佳配置。
在 3,000 个关键帧上,离散前向解码器达到平均旋转误差 11.68°,其中 2.40% 的选择超过 90°,而粒子滤波器为 11.97° 和 2.93%,UKF 为 14.63° 和 4.73%。即使使用其最佳测试设置,两个滤波器都未改进 SPARK 上的候选选择。假设形成在每个关键帧重新生成的离散集,输出必须是这些候选之一;因此结果支持在可用替代中显式选择,而不确立连续状态滤波的一般限制。
阶段 4 惯性先验惩罚平移二阶差分和世界帧增量旋转变化,在报告精度下 E_p = 0.2355 不变。这些惩罚鼓励局部平滑,这已受 SLAM 链约束,但不解决绝对朝向歧义:一致错误盆地中的平滑轨迹仍可与先验兼容。因此,添加动力学先验不能替代竞争朝向假设之间的选择。
V-D 背景掩码对 SLAM 的影响
使用原始帧而非掩码目标将 E_p 从 0.2355 增加到 0.3481。因果 DROID 在无掩码时更常无法恢复轨迹。纹理化地球边缘可以在恢复轨迹上改善相对旋转,但背景抑制改善评估序列上的轨迹恢复。
表 IV: 均值和样本 SD 总结每个数据集。粗体表示每个数据集每列最佳结果(最低误差和 SD,最高 FPS)。斜体表示视频基线;我们的方法出现在分隔线下方。“+ ref.” 添加五次 MegaPose 细化迭代。FPS 包括预热后解码,排除检测器生成和加载。Mega-HAT 使用共享时间配置。评估和计时协议在第 VI 节指定。
SPARK-2024
方法 | E_p | SD | E_t (m) | E_q (°) | FPS |
|---|---|---|---|---|---|
MegaPose(逐帧) | 0.413 | 0.808 | 0.469 | 21.0 | 0.82 |
PicoPose | 0.098 | 0.344 | 0.112 | 4.8 | 2.74 |
GigaPose + ref. | 0.410 | 0.811 | 0.333 | 21.5 | 1.66 |
RGBTrack | 2.169 | 1.065 | 1.804 | 111.0 | 2.34 |
SRT3D + init. | 0.650 | 0.943 | 1.311 | 29.1 | 131.61 |
Mega-HAT | 0.325 | 0.648 | 0.463 | 15.9 | 2.27 |
Pico-HAT | 0.089 | 0.224 | 0.123 | 4.2 | 7.03 |
YCB-Video
方法 | E_p | SD | E_t (m) | E_q (°) | FPS |
|---|---|---|---|---|---|
MegaPose(逐帧) | 0.371 | 0.837 | 0.078 | 16.3 | 0.85 |
PicoPose | 0.364 | 0.837 | 0.053 | 17.4 | 3.55 |
GigaPose + ref. | 0.286 | 0.770 | 0.064 | 12.4 | 1.87 |
RGBTrack | 1.426 | 1.335 | 0.068 | 77.4 | 5.57 |
SRT3D + init. | 0.722 | 0.938 | 0.083 | 36.2 | 94.69 |
Mega-HAT | 0.348 | 0.761 | 0.083 | 14.7 | 7.07 |
Pico-HAT | 0.295 | 0.669 | 0.051 | 13.6 | 14.81 |
SwissCube
方法 | E_p | SD | E_t (m) | E_q (°) | FPS |
|---|---|---|---|---|---|
MegaPose(逐帧) | 2.113 | 1.027 | 0.160 | 111.1 | 0.76 |
PicoPose | 1.937 | 5.195 | 0.413 | 70.0 | 3.35 |
GigaPose + ref. | 2.096 | 1.290 | 0.281 | 101.0 | 1.69 |
RGBTrack | 2.553 | 0.724 | 0.185 | 126.8 | 2.78 |
SRT3D + init. | 2.631 | 0.742 | 0.369 | 126.2 | 50.79 |
Mega-HAT | 1.959 | 0.965 | 0.169 | 101.7 | 2.02 |
Pico-HAT | 0.480 | 0.681 | 0.057 | 22.1 | 4.44 |
SHIRT
方法 | E_p | SD | E_t (m) | E_q (°) | FPS |
|---|---|---|---|---|---|
MegaPose(逐帧) | 1.684 | 1.155 | 1.394 | 83.8 | 0.79 |
PicoPose | 1.829 | 1.144 | 1.306 | 93.5 | 2.95 |
GigaPose + ref. | 2.151 | 1.182 | 1.671 | 108.0 | 1.68 |
RGBTrack | 2.733 | 1.259 | 4.122 | 112.7 | 1.68 |
SRT3D + init. | 2.248 | 0.949 | 1.487 | 110.2 | 109.79 |
Mega-HAT | 1.636 | 1.077 | 1.537 | 79.8 | 1.06 |
Pico-HAT | 1.974 | 0.847 | 1.058 | 103.8 | 4.82 |
图 3: 平均 E_p(柱),一个样本 SD(上须),和持续输入 FPS(菱形)。我们的实现着色,带更大轮廓菱形。基线灰色。数值标签标记高于 4 的须和高于 20 FPS 的速率。吞吐量在单独流子集上测量。表 IV 指定标签和评估范围。
VI 跨数据集评估
表 IV 和图 3 在三个航天器数据集和 YCB-Video 上比较两个实现。视频方法处理中间帧并保留时间状态。独立图像方法分别估计每个评估图像。在 YCB-Video 上,视频方法消耗完整序列,而独立方法仅在指定 BOP 目标图像上运行。SwissCube 图像来自其官方测试划分,SHIRT 包括合成和灯箱条件下的两个轨迹。我们报告每个数据集的均值和样本 SD。
独立 MegaPose 在每个评估图像重启粗略推理,使用十个假设和五次细化迭代。GigaPose 向相同细化器提供五个假设,如其标签所示。PicoPose 选择得分最高的有效原生假设,无时间处理或外部细化,匹配 Pico-HAT 使用的初始化。SRT3D 使用自动 MegaPose 初始化。RGBTrack 使用仅 RGB 初始化和基于掩码的恢复。所有模板姿态使用验证的 CAD 帧转换。SwissCube 和 SHIRT 使用标注衍生区域,因此不评估自动检测。
计时使用 NVIDIA A100 GPU(80 GB)和 Intel Xeon Gold 6330 CPU。输入 FPS 计数加载、初始化和预热后每墙钟间隔的 RGB 帧。模型保持驻留;检测器生成和离线模板准备被排除。每个速率是在单独流子集上的一次持续传递,具有新鲜姿态推理,所有时间阶段由两个 HAT 变体执行。
两个 HAT 变体在所有四个数据集上都超过其独立前端的输入 FPS。DROID-SLAM 通过密集图像匹配、重复几何优化和逐帧因果姿态读出 largely 决定速率变化。更高输入分辨率提高 SwissCube 成本,而更大图像运动在 SHIRT 上触发更频繁的内部 SLAM 关键帧更新。
VI-A SPARK 和 YCB-Video 上的时间融合
SPARK 提供有用绝对替代和可观测相对运动的最清晰组合。Mega-HAT 相对于独立 MegaPose 降低平均误差和 SD,同时稀疏查询绝对估计器提高吞吐量。Pico-HAT 取得更低误差和离散度,同时输入 FPS 更高。这支持将时间框架与不同绝对估计器一起使用。
YCB-Video [4, 25] 在航天器领域之外的日常物体上测试相同时间框架。我们评估具有共享 CNOS 检测 [26] 的非对称物体。Mega-HAT 相对于独立 MegaPose 改进平均误差和离散度。Pico-HAT 同样相对于独立 PicoPose 降低平均误差和离散度,同时提高吞吐量。它在这三个度量上也优于共享基准 Mega-HAT 配置。
VI-B SwissCube 上的候选召回限制
SwissCube [27] 在地球背景下测试小 CubeSat。密集 MegaPose 十候选最佳诊断量化剩余朝向歧义:即使预言机选择最低误差假设,中位旋转误差为 65.7°,只有 22.8% 的图像包含距地面真值 30° 内的候选。时间选择因此校正绝对估计的范围有限。Mega-HAT 配置相对于独立 MegaPose 改进平均误差和离散度。在稀疏锚点和均匀置信度下,持续吞吐量从 0.76 增加到 2.02 FPS。平均姿态误差仍高达 1.959,与绝对假设的有限朝向精度一致。
Pico-HAT 在 SwissCube 上优于 PicoPose。平均姿态误差从 1.937 降至 0.480,SD 从 5.195 降至 0.681,吞吐量从 3.35 升至 4.44 FPS。
VI-C SHIRT 上的快速旋转挑战
SHIRT [10] 暴露 DROID-SLAM 运动估计在航天器快速旋转下的限制。SHIRT 上连续帧间物体朝向中位变化为 4.1°,SwissCube 为 1.627°,SPARK 为 0.41°,YCB-Video 为 0.12°。更大帧间旋转挑战对应估计,并可能导致 DROID 低估运动,削弱用于盆地选择和融合的时间约束。
如表 IV 总结,Mega-HAT 在 SHIRT 上仅提供适度精度增益,而 Pico-HAT 尽管降低离散度但增加平均姿态误差。因此,当相对运动观测不佳时,更平滑估计可能保持在错误朝向盆地,突显快速翻滚下更可靠运动估计的必要性。
VII 结论
本文提出 HAT,一种单目航天器姿态估计方法,利用相对运动在对齐和融合之前选择竞争绝对姿态假设,而不修改过去输出。其两个版本使用 MegaPose 或 PicoPose 与度量 CAD 模型,无需目标特定训练或预训练网络微调。每个版本使用一个时间配置,二者在所有四个数据集上相对于其独立估计器提高持续输入 FPS 并降低误差离散度。二者也降低平均姿态误差,唯一例外是 Pico-HAT 在 SHIRT 上。消融识别融合前盆地选择为精度增益的主要来源。
局限性和未来工作。 绝对朝向区分在远距离退化,因为目标细节占据更少像素,而快速旋转可能退化 SLAM 并使相对运动约束失效,如 SHIRT 所示。因此,改进小目标投影的盆地区分和对快速翻滚鲁棒的相对运动估计是未来工作的优先事项。该框架需要度量 CAD 模型、有用绝对姿态候选和 SLAM 可观测的帧间运动。SwissCube 突出候选召回限制:时间选择无法恢复候选集中不存在的朝向。