企业官网建设流程全解析

钼靶影像（Mammography）是乳腺癌筛查中最常用的影像检查手段，临床上医生需要同时完成两个任务：判断影像整体是否有恶性征象，以及定位具体的病灶区域（肿块、钙化簇等）。传统做法是先跑一个图像分类模型做“有无异常”粗筛，再用目标检测模型圈出病灶，两个模型串联，流程长、特征不共享、误差还会逐级累积。如果能把分类和定位放进同一个网络里做多任务学习，不仅训练和推理都更简洁，而且检测框信息能反哺分类特征，分类结果也能约束检测头更关注异常区域，性能往往优于两个独立模型。

在目标检测框架中，DETR（Detection Transformer）系列因为端到端、无 Anchor、无 NMS 的设计，近年来在医学影像领域受到不少关注。本文围绕“Modern Backbones Improve Multi-task DETR for Mammography Classification and Lesion Localization”这个方向，讲解多任务 DETR 的核心原理、Backbone 选择如何影响检测与分类效果，并给出一个基于 PyTorch 和 HuggingFace Transformers 的最小可运行示例。文章面向有一定深度学习基础、想在医学影像场景落地检测模型的开发者，也适合刚接触 DETR 的读者构建知识框架。

1. 背景与核心概念

1.1 DETR 是什么

DETR 全称是 Detection Transformer，是 Facebook AI 在 2020 年提出的端到端目标检测框架。它把目标检测视为一个集合预测问题，利用 Transformer 的注意力机制，直接输出一组目标框和类别标签，不需要传统检测器的 Anchor 预设、RPN 候选区域、NMS 后处理等复杂流程。

DETR 的核心结构可以分成四块：

• Backbone：负责从原始图像提取视觉特征，常见选择是 ResNet。
• Transformer Encoder：对 Backbone 输出的特征序列做全局建模，捕获目标之间的长距离依赖关系。
• Transformer Decoder：通过一组可学习的 Object Queries 与编码特征交互，输出固定数量的预测。
• 预测头：对每个 Object Query 输出类别概率和边界框坐标。

与 Faster R-CNN、SSD 等经典检测器相比，DETR 最大的优势是“端到端”。整个网络从输入图像到最终预测框，只有一个损失函数，训练目标清晰，不需要手工设计 Anchor 尺寸、正负样本匹配规则。但也正因为放弃了 Anchor 和先验，DETR 的训练收敛速度较慢，对小目标检测效果一般。后续的 Deformable DETR 通过可变形注意力机制，把注意力聚焦到参考点附近的采样位置，显著加快了收敛速度，也提升了对小目标的检测能力，这成为 DETR 系列在实际项目中落地的重要转折点。

为什么 DETR 适合钼靶影像？

钼靶影像本身有几个特点：

• 病灶大小差异大，早期钙化簇可能只有几个像素。
• 乳腺组织致密程度不同，背景复杂，病灶与正常组织对比度低。
• 单一钼靶视图通常包含双侧乳腺，视野内干扰因素多，需要全局上下文判断。

DETR 的全局建模能力天然适合这种需要“既看局部，又看整体”的场景。传统卷积检测器受限于感受野，容易漏掉与周围腺体对比度较低的病灶；而 DETR 在 Encoder 阶段就对整张特征图计算注意力，可以捕捉到大范围的空间关系。

1.2 多任务学习：分类与定位的互补

图像分类和病灶定位看似是两个任务，实际上高度相关。一张钼靶影像被判为“恶性”，通常意味着影像中存在某个可疑病灶；而检测模型找到病灶的同时，也能提取到决定恶性的局部特征。

多任务学习把这两个目标放在同一个网络中训练，共享 Backbone 和大部分 Transformer 参数。这样做有几个实际收益：

• 特征复用：分类任务提供影像级监督信号，检测任务提供像素级监督信号，两个梯度信号共同优化 Backbone，让提取的特征既具备全局判别力，也保留局部定位精度。
• 抑制作用：影像级标签可以约束模型少在非病灶区域产生假阳性框；检测框又能告诉分类头“重点看哪片区域”。
• 推理简化：部署时只需一次前向传播，就能同时拿到影像级分类概率和病灶框，流程短，适合对接临床工作流。

在钼靶 BI-RADS 分级场景中，多任务模型尤其有价值。BI-RADS 分级本身就是基于病灶形态、分布、边缘等综合判断的，一个分类头输出 BI-RADS 等级，一个检测头输出可疑病灶位置，两个任务共享特征，正好契合成像报告的逻辑。

1.3 Backbone 为什么关键

DETR 虽然扮演了“端到端检测”的角色，但 Backbone 仍然是整个模型的特征源头。Backbone 提取的特征质量直接影响 Transformer Encoder 的输入，进而影响所有 Object Queries 的解码结果。

传统 DETR 默认使用 ResNet-50，在 COCO 等自然图像数据集上表现不错。但在医学影像上，情况不同：

• 钼靶影像是灰度图，纹理细腻，ResNet 的卷积核未必能高效捕捉微小钙化点。
• 病灶尺度变化极端，浅层 High Resolution 特征对钙化簇检测很重要，深层语义特征对肿块良恶性判断很重要。
• 医学影像数据集通常比 ImageNet 小得多，Backbone 预训练权重与下游影像分布差异越大，越容易陷入局部最优。

近年来出现的现代 Backbone 给了多任务 DETR 更多选择：

• Swin Transformer：层次化视觉 Transformer，能够很好地建模多尺度特征，在检测任务上表现优异。
• ConvNeXt：在 ResNet 基础上吸收 Swin 设计理念做了现代化改造，卷积骨干的新选择。
• EfficientNet：通过复合缩放同时调整深度、宽度和分辨率，但要注意 DETR 对 Backbone 输出通道数的要求。

不同 Backbone 的“表示能力”和“归纳偏置”不同，在钼靶多任务 DETR 中，选择合适 Backbone 往往比盲目堆模型深度更能提升检测精度。这也是论文标题中 “Modern Backbones Improve Multi-task DETR” 的核心含义。

2. 环境准备与版本说明

在实际动手之前，先把环境准备清楚。本节列出推荐的环境配置，并说明关键依赖的作用。

2.1 运行环境

本文示例代码基于 Python 3.9+ 编写，深度学习框架使用 PyTorch。以下是示例环境，读者可根据自己的 GPU 资源和项目需求调整：

• 操作系统：Ubuntu 20.04 / 22.04，Windows 10/11 也可运行
• Python：3.9 或更高
• PyTorch：2.x
• Transformers：4.x
• OpenCV / Pillow：用于图像读取和预处理
• CUDA：建议 11.7 以上，显存 16GB 或以上更佳

版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。

安装核心依赖：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets pillow opencv-python

如果 GPU 显存较小，可以把 batch size 调小，或使用梯度累积。DETR 属于 Transformer 架构，对显存占用比传统卷积检测器更高，训练时建议使用混合精度（AMP）减少显存消耗。

2.2 数据集准备

本文示例使用公开的 CBIS-DDSM 数据集作为演示，这是 DDSM 数据库的标准化子集，包含良性和恶性乳腺钼靶影像，以及对应的病灶分割标注。实际使用前，需要先到官方网站提交申请获取数据。

CBIS-DDSM 的标注以 ROI 坐标和分割掩码形式给出，通常需要转换为 YOLO 或 DETR 所需的[x_center, y_center, width, height]归一化矩形框。为了方便演示，本文假设标注已经转换为以下 JSON 格式：

[ { "image": "images/case_001.png", "label": 1, "boxes": [[0.32, 0.48, 0.55, 0.62]] }, { "image": "images/case_002.png", "label": 0, "boxes": [] } ]

其中：

• image：图像相对路径。
• label：影像级标签，0 表示良性，1 表示恶性。
• boxes：归一化边界框列表，每个框是[x1, y1, x2, y2]，坐标范围在 0 到 1 之间。没有病灶时为空列表。

如果你的数据是 COCO 格式或 VOC 格式，可以先预处理成上述统一格式，再进入后续流程。

2.3 项目结构

为了让代码清晰易读，建议按下面的结构组织项目：

mammo_detr/ ├── data/ │ └── annotations.json ├── images/ │ ├── case_001.png │ └── case_002.png ├── dataset.py ├── model.py ├── train.py └── inference.py

3. 核心原理拆解

3.1 DETR 的完整流程

为了理解多任务 DETR，先回顾一下 DETR 的前向流程。假设输入一张 512×512 的钼靶影像：

1. Backbone 提取特征：输入图像经过 ResNet 等 Backbone，输出下采样 32 倍的特征图，例如 16×16×2048。
2. 特征投影：为了匹配 Transformer 的输入维度，通过一个 1×1 卷积把通道数压缩到 256 维。
3. 空间序列化：将 16×16 的二维特征图展平为 256 个 token，每个 token 是 256 维向量，并加入位置编码。
4. Encoder 全局建模：Transformer Encoder 对 256 个 token 进行多轮自注意力计算，让每个位置都能感知全图信息。
5. Decoder 解码：固定数量的 Object Queries（通常为 100 个）通过交叉注意力从编码特征中“查询”目标信息，每轮更新，最终输出 100 个预测结果。
6. 预测头输出：每个 Query 通过分类分支输出类别概率（比如 2 类，良性/恶性），通过回归分支输出归一化边界框。

DETR 训练时的关键点是最优二分匹配（Hungarian Algorithm），即在预测的 100 个框中找出与真实框匹配代价最低的子集，然后计算分类损失和 L1/GIoU 框回归损失。这种一对一匹配机制替代了传统检测器的一对多匹配和 NMS，让训练过程更加直接。

# 伪代码：DETR 前向流程 import torch import torch.nn as nn class SimpleDETR(nn.Module): def __init__(self, backbone, encoder, decoder, num_queries=100): super().__init__() self.backbone = backbone self.encoder = encoder self.decoder = decoder self.query_embed = nn.Embedding(num_queries, hidden_dim) # 分类头和框回归头 self.class_head = nn.Linear(hidden_dim, num_classes) self.box_head = nn.Linear(hidden_dim, 4) def forward(self, x): features = self.backbone(x) proj = self.input_proj(features) seq = proj.flatten(2).permute(2, 0, 1) # [seq, batch, dim] memory = self.encoder(seq) query = self.query_embed.weight.unsqueeze(1).repeat(1, batch, 1) hs = self.decoder(query, memory) cls_logits = self.class_head(hs) # [queries, batch, classes] boxes = self.box_head(hs).sigmoid() return cls_logits, boxes

3.2 Backbone 如何影响检测效果

Backbone 在网络中承担“视觉特征提取”的职责。对于多任务 DETR，Backbone 同时服务目标和病灶细节，影响是全局性的。

从特征层次角度来说，不同 Backbone 在不同层保留的空间分辨率不同。ResNet 的 C3、C4、C5 阶段分别对应不同下采样倍率，DETR 原始实现只取 C5 一层特征，这意味着空间分辨率下降到原来的 1/32。对于钼靶影像中细小的钙化簇，1/32 下采样可能让病灶区域只剩下几个像素，检测难度极大。如果换成 Swin Transformer 这类自带层次化设计的 Backbone，或者通过 FPN 结构融合多层特征，可以缓解小目标信息丢失的问题。

从预训练分布角度来说，ImageNet 上预训练的 Backbone 携带的是自然图像的纹理和颜色先验，钼靶影像是灰度图，组织纹理和自然图像差异较大。但在实际训练中，仍然建议使用 ImageNet 预训练权重初始化，而不是随机初始化。因为卷积核的低层特征（边缘、角点、梯度）具有较强的通用性，顶层语义特征虽然需要微调，但整体迁移效果通常优于从零训练。

从计算开销角度来说，Backbone 参数量和 FLOPS 直接决定训练和推理速度。Swin Transformer 和 ConvNeXt 的 Base 版本参数量明显高于 ResNet-50，在医学影像项目中的 GPU 显存预算通常有限，需要权衡精度与效率。实际项目中，可以先用 ResNet-50 跑通流程，再用现代 Backbone 提升精度，循序渐进。

3.3 多任务头的设计思路

多任务 DETR 通常包含两个输出头：

• 检测头：沿用 DETR 原有的类别分支和框回归分支，输出每个 Query 的病灶类别和边界框。
• 分类头：额外增加一个影像级分类分支，输入来自 DETR Transformer Decoder 的特征，输出整张影像的类别概率。

分类头的输入来源可以灵活设计，常见有以下三种方式：

1. 对 Decoder 输出的所有 Query 特征做平均池化或最大池化，然后接全连接分类头。
2. 将 Encoder 输出特征做全局平均池化后接分类头。
3. 将分类 Token 拼接在 Object Queries 中，从 Decoder 单独取分类 Token 的输出。

第一种方式最简单，且天然利用了检测任务的信息，因为 Query 特征中已经包含了“哪些区域是目标”的信息。但这种方式的缺点是最终分类受限于 Decoder 的特征表达，如果检测头训练不足，分类性能也会受影响。

第二种方式更接近多任务学习中的“共享 Backbone、各自 Head”框架，Encoder 特征包含整张图的语义信息，全局平均池化能保留影像整体特征，分类头训练更稳定，但与检测头的关联相对较弱。

第三种方式是一种更“Transformer 原生”的做法：把分类任务当作一个特殊的目标检测 Query，让模型在 Decoder 中自己学习“看哪里来判定整图类别”。这种方式理论上最灵活，但需要修改 Query 数量和匹配逻辑，实现复杂度最高。

在下面的实战示例中，我们采用第一种方式的简化版本，通过 DETR 的 Decoder 特征融合来实现多任务输出，重点是演示整体思路。

4. 完整实战：训练一个多任务 DETR

本节给出一个最小可运行示例，包含数据集定义、模型定义、训练循环和推理可视化。代码基于 HuggingFace Transformers 库，使用预训练 DETR 模型作为检测主体，并额外添加一个影像级分类头。

4.1 数据集定义

先编写数据集加载类，读取 JSON 标注，返回图像张量、影像级标签和病灶框。

# 文件路径：dataset.py import json import os import torch from PIL import Image from torch.utils.data import Dataset from transformers import DetrImageProcessor class MammographyDataset(Dataset): """钼靶影像多任务数据集。 每个样本包含： pixel_values: 预处理后的图像张量，形状 [3, H, W] cls_label: 影像级分类标签，0 或 1 det_labels: 检测任务标签，包含 class_labels 和 boxes """ def __init__(self, root, ann_file, processor): self.root = root self.processor = processor with open(ann_file, "r", encoding="utf-8") as f: self.annotations = json.load(f) self.valid_samples = [] # 过滤掉既没有分类标签又没有检测框的异常数据 for ann in self.annotations: if "label" in ann: self.valid_samples.append(ann) def __len__(self): return len(self.valid_samples) def __getitem__(self, idx): ann = self.valid_samples[idx] image_path = os.path.join(self.root, ann["image"]) image = Image.open(image_path).convert("RGB") # 影像级标签 cls_label = torch.tensor(ann["label"], dtype=torch.long) # 检测标签：如果没有病灶，则 class_labels 为空 if len(ann["boxes"]) > 0: boxes = torch.tensor(ann["boxes"], dtype=torch.float32) class_labels = torch.ones((len(boxes),), dtype=torch.long) else: boxes = torch.zeros((0, 4), dtype=torch.float32) class_labels = torch.zeros((0,), dtype=torch.long) # 使用 DETR 的 image processor 做尺寸调整和归一化 encoding = self.processor( images=image, annotations={ "boxes": boxes, "class_labels": class_labels, }, return_tensors="pt", ) pixel_values = encoding["pixel_values"].squeeze(0) det_labels = { "class_labels": encoding["class_labels"][0], "boxes": encoding["boxes"][0], } return pixel_values, cls_label, det_labels

这里需要注意，DetrImageProcessor在传入空框时也能正常工作，它会把没有目标的图片编码为对应的空标签。对于影像级分类标签，我们直接保留原始值，不与检测标签混在一起。

4.2 模型定义

接下来定义多任务 DETR 模型。我们基于DetrForObjectDetection加载预训练权重，替换分类头为自定义的两类输出（良性/恶性），并在 DETR 的 Decoder 特征之上添加影像级分类头。

# 文件路径：model.py import torch import torch.nn as nn import torch.nn.functional as F from transformers import DetrForObjectDetection class MultiTaskDETR(nn.Module): """多任务 DETR：同时完成影像级分类和病灶定位。 Args: num_det_classes: 检测头的类别数，不含背景。 num_cls_classes: 影像级分类的类别数。 pretrained_backbone: HuggingFace 上 DETR 预训练权重名称。 """ def __init__( self, num_det_classes=2, num_cls_classes=2, pretrained_backbone="facebook/detr-resnet-50", ): super().__init__() self.detr = DetrForObjectDetection.from_pretrained( pretrained_backbone, num_labels=num_det_classes, ignore_mismatched_sizes=True, ) hidden_dim = self.detr.config.d_model # 通常是 256 # 影像级分类头：输入来自 Decoder 特征 self.cls_head = nn.Sequential( nn.Linear(hidden_dim * 2, hidden_dim), nn.ReLU(), nn.Dropout(0.1), nn.Linear(hidden_dim, num_cls_classes), ) def forward( self, pixel_values, cls_labels=None, det_labels=None, ): # DETR 前向，开启 hidden states 输出 outputs = self.detr( pixel_values=pixel_values, labels=det_labels, output_hidden_states=True, return_dict=True, ) # 获取 Decoder 最后一层特征和 Encoder 最后一层特征 decoder_hidden = outputs.decoder_hidden_states[-1] # [B, num_queries, d_model] encoder_hidden = outputs.encoder_last_hidden_state # [B, seq_len, d_model] # Query 维度池化 + 空间维度池化 query_feat = decoder_hidden.mean(dim=1) # [B, d_model] encoder_feat = encoder_hidden.mean(dim=1) # [B, d_model] # 拼接后送入分类头 fused_feat = torch.cat([query_feat, encoder_feat], dim=-1) cls_logits = self.cls_head(fused_feat) loss = None if cls_labels is not None or det_labels is not None: loss = 0.0 if det_labels is not None: loss += outputs.loss if cls_labels is not None: loss += 0.3 * F.cross_entropy(cls_logits, cls_labels) return { "loss": loss, "cls_logits": cls_logits, "det_logits": outputs.logits, "pred_boxes": outputs.pred_boxes, }

代码中两个要点需要说明：

• ignore_mismatched_sizes=True：因为我们把检测类别数从默认值改成了自定义类别数，预训练权重中分类头的 shape 与新的不一致，需要跳过这部分权重，而不是直接报错。
• output_hidden_states=True：为了拿到 Decoder 和 Encoder 的特征，我们需要在 DETR 前向时开启隐藏状态输出。encoder_last_hidden_state返回 Encoder 最后的特征序列，decoder_hidden_states[-1]返回 Decoder 最后一层的状态。

影像级分类损失权重设为 0.3，是为了防止分类任务压制检测任务。实际项目中，这个权重是需要调整的超参数。

4.3 训练循环

训练循环中，我们使用 AdamW 优化器，weight decay 设为 1e-4。学习率采用 DETR 论文中常用的分段下降策略，初始学习率设为 1e-4，Backbone 部分的学习率通常设为整体学习率的 1/10，避免预训练权重被过快破坏。

# 文件路径：train.py import torch from torch.utils.data import DataLoader from transformers import DetrImageProcessor from dataset import MammographyDataset from model import MultiTaskDETR def collate_fn(batch): """把 Dataset 返回的样本整理成 batch。""" pixel_values = torch.stack([item[0] for item in batch], dim=0) cls_labels = torch.stack([item[1] for item in batch], dim=0) det_labels = [] for item in batch: det_labels.append(item[2]) return { "pixel_values": pixel_values, "cls_labels": cls_labels, "det_labels": det_labels, } def train_one_epoch(model, dataloader, optimizer, device, accumulation_steps=2): model.train() total_loss = 0.0 optimizer.zero_grad() for step, batch in enumerate(dataloader): pixel_values = batch["pixel_values"].to(device) cls_labels = batch["cls_labels"].to(device) det_labels = [ {k: v.to(device) for k, v in d.items()} for d in batch["det_labels"] ] outputs = model( pixel_values=pixel_values, cls_labels=cls_labels, det_labels=det_labels, ) loss = outputs["loss"] loss = loss / accumulation_steps loss.backward() if (step + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad() total_loss += loss.item() * accumulation_steps return total_loss / len(dataloader) def main(): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") processor = DetrImageProcessor.from_pretrained("facebook/detr-resnet-50") train_dataset = MammographyDataset( root="images", ann_file="data/annotations.json", processor=processor, ) train_loader = DataLoader( train_dataset, batch_size=4, shuffle=True, collate_fn=collate_fn, num_workers=2, ) model = MultiTaskDETR().to(device) # 参数分组：Backbone 学习率低，其他部分学习率正常 backbone_params = [] other_params = [] for name, param in model.named_parameters(): if "detr.model.backbone" in name: backbone_params.append(param) else: other_params.append(param) optimizer = torch.optim.AdamW( [ {"params": backbone_params, "lr": 1e-5}, {"params": other_params, "lr": 1e-4}, ], weight_decay=1e-4, ) num_epochs = 30 for epoch in range(num_epochs): loss = train_one_epoch( model, train_loader, optimizer, device, accumulation_steps=2, ) print(f"Epoch {epoch+1}/{num_epochs}, Loss: {loss:.4f}") torch.save(model.state_dict(), "multi_task_detr.pt") if __name__ == "__main__": main()

这里对 backprop 步骤做了一点优化：通过accumulation_steps做梯度累积，在显存不足的机器上也能用较大的等效 batch size 训练。如果 GPU 显存充足，把accumulation_steps改为 1 即可。

4.4 推理与可视化

训练完成后，编写推理脚本，输入一张钼靶影像，同时返回影像级分类概率和检测框。

# 文件路径：inference.py import torch from PIL import Image from transformers import DetrImageProcessor from model import MultiTaskDETR def predict_image(model, processor, image_path, device, threshold=0.5): model.eval() image = Image.open(image_path).convert("RGB") encoding = processor(images=image, return_tensors="pt") pixel_values = encoding["pixel_values"].to(device) with torch.no_grad(): outputs = model(pixel_values=pixel_values) # 影像级分类 cls_probs = torch.softmax(outputs["cls_logits"], dim=-1) cls_label = torch.argmax(cls_probs, dim=-1).item() cls_score = cls_probs[0, cls_label].item() # 检测后处理 logits = outputs["det_logits"][0] pred_boxes = outputs["pred_boxes"][0] keep = logits.softmax(-1)[:, 1] > threshold boxes = pred_boxes[keep] scores = logits.softmax(-1)[keep][:, 1] return { "cls_label": cls_label, "cls_score": cls_score, "boxes": boxes.cpu().tolist(), "scores": scores.cpu().tolist(), }

在钼靶影像中，如果分类结果为 0（良性），但检测头仍输出了一些低置信度框，通常说明模型对局部病灶的把握不足，此时可以调高阈值或结合医生标注进一步校准。

4.5 运行与验证

使用示例数据时，运行训练脚本：

python train.py

预期输出大致如下：

Epoch 1/30, Loss: 6.2345 Epoch 2/30, Loss: 4.8361 ... Epoch 30/30, Loss: 0.4732

训练完成后运行推理脚本：

python inference.py

输出结果为一行 JSON，包含影像级分类标签、置信度和可能的病灶框坐标。

需要注意，这是最小演示，真实项目需要更大的数据量、更充分的数据增强和更细致的超参数调优。CBIS-DDSM 完整数据集中图像数量较多，建议先按 8:1:1 划分训练集、验证集和测试集。

5. 常见问题与排查思路

在实际训练多任务 DETR 的过程中，有几个问题非常典型，整理成表格方便快速定位。

下面展开两个容易出现的问题。

第一个是“分类与检测任务冲突”。多任务学习不是简单地把两个 Loss 加起来就一定有效。当检测任务还处于早期“学怎么匹配目标框”的阶段时，分类任务梯度可能太强，把共享特征带偏。建议先用较小的分类损失权重，甚至前几个 epoch 只训练检测任务，等检测头的 Hungarian 匹配稳定后再引入分类 Loss。

第二个是“小病灶检测不到”。这是 DETR 在医学影像场景中最常见的痛点。DETR 原始实现只使用 Backbone C5 特征，下采样 32 倍，对钼靶影像中几毫米的钙化簇非常不友好。如果数据集中小目标占比较高，建议替换为 Deformable DETR，或者采用类似 FPN 的多尺度特征融合结构，在多个分辨率上保留病灶信息。

6. 最佳实践与工程建议

6.1 数据层面的规范

医学影像项目的起点是数据质量。相比自然图像，钼靶影像标注更需要医学专业背景，因此建立规范的数据处理流程尤其重要。

• 影像预处理：钼靶图像通常有较高的位深（12-16 bit），需要做窗宽窗位调整或线性归一化，再转为 8-bit PNG 或 JPG。直接在原图上做标准化是一个简化做法，但可能会丢失灰度对比度信息。
• 标签校验：建议由两名以上影像科医生独立标注，Kappa 系数不一致的样本要提交仲裁。
• 数据划分：基于患者维度划分训练集、验证集和测试集，避免同一患者的多张视图同时出现在训练集和测试集中，造成数据泄漏。
• 数据增强：医学影像适合小幅旋转、翻转、随机裁剪、弹性形变等增强方式，但要注意不要引入伪造的解剖结构。颜色抖动类增强在灰度钼靶图上意义不大，应谨慎使用。

6.2 模型训练策略

训练医学影像检测模型，有几个值得坚持的工程习惯。

• 预训练权重优先：总是先从 ImageNet 预训练的 Backbone 权重开始，除非你有足够大的医学影像预训练数据集。
• 混合精度训练：DETR 训练耗时较长，使用 AMP 可以在不损失精度的情况下显著减少训练时间。
• 周期性评估：不要只盯着训练 Loss，每 2-5 个 epoch 在验证集上计算一次分类 AUC 和检测 mAP。多任务模型的验证指标要同时看两个任务，防止某一任务被另一任务拖垮。
• 使用早停和模型快照：保存每个 epoch 的最优权重，训练结束后在测试集上评估，选择泛化能力最好的检查点。

6.3 评估与部署建议

分类与定位任务需要分别评估。

影像级分类建议使用 AUC 和混淆矩阵，重点关注假阴率（漏诊恶性病人是临床中最不能接受的情况）。检测任务建议使用 FROC 曲线（Free-Response Operating Characteristic），它能在多个阈值下统计检出率和假阳性率，更贴近放射科的工作流程。

部署时需要注意以下问题：

• 图像大小与缩放策略必须与训练时保持一致。钼靶影像原始分辨率较高，推理前要按训练时的预处理方式归一化。
• 模型输出检测框后，建议加一个人工规则层，例如过滤面积过小的框、限定乳腺区域内的框，减少低价值告警。
• 如果面向临床辅助诊断，需要对接 PACS 系统，输入 DICOM 格式数据。DICOM 中保存的像素值可能需要经过窗宽窗位转换才能作为模型输入。

6.4 安全边界与合规

医学影像 AI 模型涉及患者数据，必须严格遵循数据安全法规。项目开发过程中应做到以下几条：

• 数据脱敏：所有影像数据需去除患者姓名、ID 等敏感信息，使用匿名化 ID 关联。
• 模型定位：医学 AI 模型应被定位为“辅助诊断工具”，输出结果必须经过医生审核确认，不能作为最终诊断依据。
• 可追溯性：保存模型版本、训练数据版本、超参数配置和推理日志，便于事后审计。

7. 总结与学习路线

本文围绕多任务 DETR 在钼靶影像分类与病灶定位中的应用，梳理了 DETR 的端到端检测原理、Backbone 选择对检测效果的影响、多任务头的设计思路，并给出一个基于 HuggingFace Transformers 的最小可运行代码示例。通过这个示例，你可以看到如何把影像级分类和病灶检测放进同一网络，共享特征，同时输出两个任务的预测结果。

下一步，如果你想深入这个方向，可以按下面的路径继续学习：

• 阅读 DETR 原论文《End-to-End Object Detection with Transformers》和 Deformable DETR 论文，理解注意力机制、匈牙利匹配损失、可变形注意力的具体实现。
• 尝试替换 Backbone，对比 ResNet-50、Swin Tiny、ConvNeXt Tiny 在 CBIS-DDSM 子集上的检测 mAP 和分类 AUC 差异。注意保持其他超参数不变，才能公平对比。
• 学习多任务学习中的 Loss 平衡方法，例如 Uncertainty Weight 或 GradNorm，对分类和检测任务自适应分配权重。
• 如果追求更快的收敛速度，可以直接基于 Deformable DETR 代码库改造，加上影像级分类头，对比标准 DETR 在小目标病灶上的表现。

在实际项目落地时，建议先在小规模数据上跑通模型流程，确认数据管线和训练逻辑无误，再逐步扩增数据。模型的精度提升往往来自数据质量、标注一致性和合理的训练策略，Backbone 升级只是其中一环，但它确实是提升 DETR 效果最直接、最值得实验的方向之一。

如果这篇文章对你有帮助，可以收藏备用。也欢迎在评论区交流你训练多任务 DETR 时遇到的问题。