复合材料RVE建模全流程：从随机纤维分布到等效刚度预测
2026/10/5 5:37:05
论文解析| 莫拉图瓦大学 | 2024年6月
原论文链接：arXiv:2406.08294
数据集链接：Maritime Datasets | Datasets homepage
一、研究背景与动机
海上非法活动——包括走私、非法捕鱼和人口贩卖——对全球安全构成严峻威胁，且这些活动大多发生在夜间能见度极低的环境中。传统的基于RGB（彩色）摄像头的视频监控系统在夜间、恶劣天气及水面反光等条件下性能急剧下降，难以胜任实际部署需求。
为此，来自斯里兰卡莫拉图瓦大学的研究团队提出了一套基于热成像（红外）的海上监控系统，能够在上述恶劣条件下稳定工作。该系统集成了目标跟踪、船舶重识别和可疑活动检测三大核心功能。
二、系统架构：三大核心子系统
整套系统由三个并行运行的子系统构成，共同处理来自FLIR M232海用热成像摄像头的视频流。
2.1 目标跟踪子系统
研究团队将原本针对RGB域设计的TraDeS 算法（Wu et al., 2021）移植至热成像域。TraDeS 的核心优势在于将检测与跟踪联合优化：
- CVA模块（代价体积关联）：生成目标嵌入向量，推断目标运动。
- MFW模块（运动引导特征扭曲）：利用历史跟踪信息增强当前帧的特征，提升遮挡场景下的跟踪稳定性。
- 适配策略：将单通道热成像复制为三通道输入，分两阶段训练——先在COCO数据集的灰度化版本上预训练，再在新加坡海事数据集（SMD）和自建数据集上微调。
跟踪性能：在热成像域达到61.2% MOTA，接近RGB域原始性能（63.5%），实现了15 fps的实时处理速度。
2.2 船舶重识别子系统
这是本文最具创新性的部分。船舶重识别的核心难点在于：热成像图像缺乏颜色信息，且同一船舶从不同视角拍摄时外观差异极大。研究团队提出了一套视角无关的重识别算法，分为以下步骤：
步骤一：前景分割
采用带残差连接的编码器-解码器网络提取船舶前景掩码。由于热成像中前景与背景的强度分布相近，传统的GrabCut等算法效果较差，该自训练模型基于300张标注图像进行训练。
步骤二：特征提取
使用预训练的DINOv2 ViT（视觉Transformer）提取前景特征，并通过四条并行线性层将特征映射至四个潜在空间：
- 全局空间（Global）
- 正面空间（Front）
- 侧面空间（Side）
- 后方空间（Rear）
步骤三：视角加权距离计算
通过计算各视角掩码面积与总前景面积的比值（面积比AR），动态加权各视角空间的L2距离：
$$\text{Distance}_{\text{total}} = \{\text{Distance}_{\text{global}} + \text{Distance}_{\text{front}} \cdot AR_{\text{front}} + \text{Distance}_{\text{side}} \cdot AR_{\text{side}} + \text{Distance}_{\text{rear}} \cdot AR_{\text{rear}}\} / 2$$
步骤四：损失函数
联合使用ArcFace 身份分类损失和三元组损失（Triplet Loss）进行训练，增强类间距离、缩小类内距离。
2.3 可疑活动检测子系统
研究团队将YOWO算法（Köpüklü et al., 2019）从RGB域迁移至热成像域，用于检测两类可疑行为：游泳（潜在人口走私迹象）和人口贩卖相关活动。
YOWO采用双流架构：
- 2D CNN：提取关键帧的空间信息
- 3D CNN：提取视频片段的时空信息
- 通过通道融合与注意力模块进行综合分类
微调参数：IoU阈值设为0.6，片段长度为16帧，输入帧率从1 fps提升至5 fps。
三、实验结果
跟踪性能对比
| 数据集 | 域 | MOTA↑ | IDF1↑ | FPS↑ |
|---|---|---|---|---|
| MOT17 | RGB | 63.5% | 67.7% | 30 |
| MOT17 | 灰度 | 58.8% | 64.6% | 30 |
| SMD | 近红外 | 59.5% | 65.2% | 30 |
| 自建数据集 | 红外 | 61.2% | 65.4% | 30 |
重识别性能对比
| 数据集 | 域 | SPAN Top1 | 本文 Top1 | SPAN mAP | 本文 mAP |
|---|---|---|---|---|---|
| VehicleID | RGB | 78.22% | 78.40% | 56.10% | 73.62% |
| VeRi776 | RGB | 94.0% | 91.67% | 68.9% | 80.26% |
| VesselID-539 | RGB | 82.43% | 82.60% | 58.10% | 75.44% |
| 自建数据集 | 红外 | 78.37% | 81.82% | 55.88% | 74.26% |
本文方法在所有数据集上的mAP平均提升约26.7%，在热成像域的Top1准确率提升约4.5%。
活动检测性能
| 数据集 | 域 | 帧mAP | 视频mAP |
|---|---|---|---|
| JHMDB-21 | RGB | 75.7% | 85.9% |
| UCF101-24 | RGB | 87.3% | 78.6% |
| 自建数据集 | 红外 | 72.4% | 78.9% |
四、数据集与重要资源
自建热成像海事数据集（首个公开热成像海事基准数据集）
- 📦数据集主页：Maritime Datasets | Datasets homepage
- 拍摄设备：FLIR M232 海用热成像摄像头
- 包含内容：
- 40艘小型船舶 + 32艘大型船舶的多视角图像
- 带COCO格式标注的视频（船舶、船只、喷气式水上摩托车、人类四类目标）
- 游泳和疑似人口走私活动的标注视频片段
相关论文与代码资源
| 资源 | 链接 |
|---|---|
| 本论文（arXiv） | arxiv.org/abs/2406.08294 |
| TraDeS跟踪算法 | github.com/JialianW/TraDeS |
| YOWO活动检测 | github.com/wei-tim/YOWO |
| DINOv2特征提取 | github.com/facebookresearch/dinov2 |
| ArcFace损失函数 | github.com/deepinsight/insightface |
| 新加坡海事数据集SMD | github.com/tilemmpon/Singapore-Maritime-Dataset |
五、结论与展望
主要贡献总结
本文的核心贡献在于证明了热成像视觉监控可以有效替代RGB域监控，在夜间和恶劣天气条件下仍能保持较高性能。具体而言：
- 首创热成像域的海上船舶重识别算法，通过分视角特征比对解决了视角变化带来的识别困难。
- 首建公开热成像海事数据集，填补了该领域的数据空白。
- 成功将TraDeS和YOWO两大算法迁移至热成像域，性能损失极小。
现有局限性
- 当前集成系统运行速度仅约2 fps（各子系统独立运行时分别为30 fps和5 fps），实时性有待提升。
- 重识别数据集规模较小（仅72艘船舶），泛化能力有限。
- 活动类别仅两类，实际场景中的可疑行为种类更为多样。
未来研究方向
- 开发定制化硬件加速方案，提升系统整体帧率。
- 利用并行计算优化各子系统的协同效率。
- 扩充数据集规模，增加更多船舶类别与可疑活动类型。
- 探索跨模态（可见光+热成像）融合方法以进一步提升准确率。
本文是对论文 "Vessel Re-identification and Activity Detection in Thermal Domain for Maritime Surveillance"（arXiv:2406.08294）的中文解析，原文作者为莫拉图瓦大学的 Ginige、Gunasekara、Hewavitharana、Ariyarathne、Rodrigo 和 Jayasekara。