企业官网建设流程全解析

物体检测这个方向，我从几年前做图像标注工具那会儿就开始接触，一路从手工特征加滑动窗口，到后来的两阶段检测器，踩过的坑不算少。Faster RCNN 算是把“候选框生成”这件事真正做进网络里的一个分水岭模型，直到今天，很多工业质检、安防分析、遥感解译的项目里，它的变体依然是主力。这篇文章我想聊的不是论文复述，而是把它拆开揉碎，讲清楚它到底怎么跑起来、每个模块为什么这么设计、动手复现时哪些参数会咬人，以及我在实际项目里遇到过的那些“文档里不会写”的问题。不管你是刚入门物体检测的学生，还是准备把检测模型落到业务里的工程师，应该都能从里面找到能直接抄作业的部分。

1. 物体检测的整体设计与 Faster RCNN 的定位

1.1 从“找框”到“分类”的两阶段思路

物体检测要解决的核心问题其实就两件事：图里有没有目标，目标在哪。早期做法是用不同大小的窗口在图上滑动，每个窗口都送进分类器判断，计算量爆炸，而且窗口比例固定，遇到细长或扁平的物体就抓瞎。后来 RCNN 系列换了个思路：先想办法找出“可能藏着物体”的一小堆候选区域，再对这些区域逐个做分类和位置精修。这就是所谓两阶段检测器，第一阶段叫区域提议，第二阶段叫区域分类与回归。

Faster RCNN 的关键贡献，是把第一阶段从外部算法（比如选择性搜索）换成了一个可训练的小网络，也就是区域提议网络 RPN。这样一来，提议和检测共享同一套卷积特征，整个模型可以端到端训练，速度从 RCNN 的几十秒一张图，压到了接近实时的水平。你可以把它理解成：以前是先用一把手工尺子量出可疑位置，再拿放大镜看；现在是尺子和放大镜共用同一副眼睛，效率自然高得多。

1.2 为什么工业场景还愿意用它

现在单阶段检测器（比如 YOLO 系列、SSD）速度更快，为什么还有大量项目选 Faster RCNN？我总结下来有三个现实原因。第一是小目标召回，两阶段先提议再精修的结构，对小目标天然更友好，RPN 里密集的锚框能覆盖到很小的区域。第二是定位精度，第二阶段会对每个候选框做一次回归微调，边界贴合度通常比单阶段直接回归要好。第三是可解释性和可调试性，RPN 输出的提议框是可见的中间结果，出问题时你能清楚看到是提议阶段漏了，还是分类阶段判错了，排查起来有抓手。

代价也很明显：推理速度慢，显存占用高，训练调参更麻烦。所以我的经验是，如果业务对精度和召回要求高、对延迟没那么敏感（比如离线质检、批量图像分析），Faster RCNN 是很稳的选择；如果是要跑在边缘设备上做实时视频流，那得慎重，或者考虑轻量骨干加剪枝蒸馏。

1.3 整体结构一图流（文字版）

整个模型可以拆成四块，我用文字串一遍，方便你建立全局观：

• 骨干网络：通常用 ResNet 或 VGG，负责把原图变成特征图，比如输入 800×600 的图，经过骨干后得到约 50×38 的特征图。
• 区域提议网络 RPN：在特征图上每个位置铺一堆锚框，判断每个锚框是前景还是背景，并回归出偏移量，输出一批候选框。
• ROI 池化/对齐：把不同大小的候选框统一采样成固定尺寸的特征，喂给后面的分类头。
• 检测头：对每个候选区域做具体类别分类，并再做一次边界框回归，得到最终结果。

这四块里，RPN 和 ROI 对齐是最容易出问题的地方，后面会重点讲。

2. 核心模块拆解与关键细节

2.1 骨干网络与特征图尺寸的取舍

骨干网络的选择直接决定了精度和速度的平衡。VGG16 是原论文用的，结构简单但参数量大、显存吃紧；ResNet50 加 FPN（特征金字塔）是现在更常见的搭配，FPN 把不同层级的特征融合起来，小目标检测提升明显。我在实际项目里基本默认 ResNet50+FPN，除非算力实在紧张才退回更小的骨干。

这里有个容易被忽略的点：输入图像的尺寸。Faster RCNN 通常会把图片短边缩放到 800，长边不超过 1333，这是为了在显存和精度之间取平衡。如果你把输入调得更大，小目标确实更容易被检出，但显存占用是平方级增长的。我做过一组对比，短边从 600 提到 1000，显存从约 4G 涨到接近 9G，而 mAP 只提升了不到 2 个点。所以除非你的目标特别小，否则别盲目加大输入。

2.2 锚框设计：RPN 的灵魂参数

锚框就是预先定义好的一堆参考框，RPN 判断的是“相对于这些参考框，真实目标偏移了多少”。锚框由三个维度决定：尺度（scale）、长宽比（aspect ratio）、以及每个位置的中心点密度。原论文用了 3 种尺度（128、256、512）和 3 种比例（1:1、1:2、2:1），每个位置 9 个锚框。

这套默认参数不是万能的。我做过一个交通标志检测的项目，目标又小又方，默认的 128 尺度都偏大，最后把尺度改成 32、64、128，比例只留 1:1 和 1:1.5，召回率一下上去了。所以锚框一定要根据你的数据统计来调，方法很简单：把训练集所有标注框的宽高统计出来，做个聚类（K-means 就行），聚类中心就是你的锚框尺度。这一步花不了半小时，但效果比瞎调学习率强得多。

提示：锚框尺度的单位是特征图上的像素，不是原图。因为 RPN 是在降采样后的特征图上操作的，比如骨干降采样 16 倍，那特征图上的 128 对应原图的 2048，这个换算关系一定要搞清楚，否则锚框会设得离谱。

2.3 ROI 池化与 ROI Align 的区别

这是两阶段检测器里一个经典的坑。ROI 池化会把候选框对应的特征区域划分成固定数量的格子，每个格子取最大值。问题在于，候选框的坐标是浮点数，池化时做了两次量化取整，导致特征和原图位置对不齐，对小目标尤其致命。ROI Align 取消了量化，用双线性插值在浮点坐标上采样，精度明显更好。

我在做细胞检测时对比过两者，ROI Align 比 ROI 池化在 mAP 上高了差不多 3 个点，小目标召回提升更明显。现在主流实现默认都是 ROI Align，如果你用的是老代码，建议换掉。代价是计算稍慢，但这点开销换来精度提升，很值。

2.4 损失函数与正负样本划分

RPN 的损失由两部分组成：分类损失（前景/背景二分类）和回归损失（锚框偏移）。检测头的损失类似，只是分类变成多类别。这里的关键是正负样本怎么定义。RPN 里，和某个真实框 IoU 最大的锚框算正样本，IoU 超过 0.7 的也算正样本；IoU 低于 0.3 的算负样本，中间那些忽略掉。检测头里，IoU 超过 0.5 算正样本。

正负样本比例失衡是个大问题，背景锚框数量远多于前景。常见做法是采样，比如每张图随机采 256 个锚框，正负比例控制在 1:1。如果正样本太少，可以适当放宽正样本的 IoU 阈值，但别放太松，否则会引入大量低质量正样本，反而拉低精度。我一般会监控训练时正样本的比例，低于 10% 就要警惕了，可能是锚框设计不合理，或者数据里目标太稀疏。

3. 实操过程与核心环节实现

3.1 环境与数据准备

我习惯用 PyTorch 生态，torchvision 里自带 Faster RCNN 的实现，改起来方便。环境上，CUDA 版本和 PyTorch 版本要匹配，这个不用多说。数据格式我推荐用 COCO 格式，因为 torchvision 的检测模型直接支持，省得自己写解析。如果你手上是 VOC 格式，写个转换脚本也就几十行的事。

数据准备阶段有两件事必须做扎实。一是标注质量，框要贴紧目标，别留太多空白，也别把目标切掉一块，标注噪声对两阶段检测器的影响比单阶段更大。二是类别平衡，如果某些类别样本极少，要么补充数据，要么用重采样，否则模型基本学不会。我曾经有个项目，某个类别只有几十个样本，训练出来召回几乎为零，后来补到几百个才正常。

3.2 模型构建与骨干替换

用 torchvision 构建模型大概是这样：

import torchvision from torchvision.models.detection import FasterRCNN from torchvision.models.detection.rpn import AnchorGenerator from torchvision.models.detection.backbone_utils import resnet_fpn_backbone backbone = resnet_fpn_backbone('resnet50', pretrained=True) anchor_generator = AnchorGenerator( sizes=((32, 64, 128, 256),), aspect_ratios=((0.5, 1.0, 2.0),) ) model = FasterRCNN( backbone, num_classes=num_classes, rpn_anchor_generator=anchor_generator, box_detections_per_img=300 )

这里有几个参数值得说。box_detections_per_img控制每张图最多输出多少个检测框，默认 100，如果你的图里目标很密集，比如人群计数，得调大，否则会被截断。rpn_anchor_generator就是前面说的锚框，一定要按数据统计来设。pretrained=True用预训练骨干，能省很多训练时间，除非你的数据域和自然图像差得特别远（比如医学影像），否则都建议开。

3.3 训练流程与学习率策略

训练 Faster RCNN 有个经典技巧叫“交替训练”，就是先训 RPN，再训检测头，再联合微调。不过现在有了共享特征和端到端训练，直接联合训练也能收敛，省事很多。我一般直接端到端训，但会把骨干的学习率设得比头部小，比如骨干 0.001，头部 0.01，这样预训练特征不会被破坏得太快。

学习率调度用阶梯下降或者余弦退火都行。我实测下来，warmup 加余弦退火比较稳，前 500 步线性 warmup，避免一开始梯度太大把预训练权重冲垮。batch size 方面，Faster RCNN 显存占用大，单卡能塞下 2 到 4 张图就不错了，如果显存不够，可以用梯度累积模拟大 batch。

训练轮数上，COCO 这种大数据集一般 12 到 24 个 epoch，小数据集可能 50 到 100 个 epoch。判断收敛别只看 loss，要定期在验证集上算 mAP，loss 降但 mAP 不涨甚至跌，往往是过拟合了。

3.4 推理与后处理

推理阶段，模型输出一堆框、类别和分数。后处理主要是非极大值抑制 NMS，把重叠的框去掉。NMS 的阈值很关键，设太高会留下重复框，设太低会把挨得近的不同目标误删。默认 0.5 是个不错的起点，密集场景可以调到 0.6 到 0.7。

还有一个参数是分数阈值，低于这个分数的框直接丢掉。这个阈值要根据业务调，安防场景宁可误报不可漏报，阈值就设低点；质检场景要求准，阈值就设高点。我一般会画一条 precision-recall 曲线，根据业务对精确率和召回率的偏好来定阈值，而不是拍脑袋。

model.eval() with torch.no_grad(): predictions = model([image_tensor]) # predictions[0]['boxes'], ['labels'], ['scores']

4. 常见问题与排查技巧实录

4.1 训练不收敛或 loss 震荡

这是最常见的问题。排查顺序我一般是这样的：先看数据标注有没有问题，比如框的坐标越界、类别标错；再看学习率是不是太大，尤其是骨干部分；然后看锚框是不是和真实框尺寸差太远，导致正样本太少。我遇到过一次 loss 一直震荡，最后发现是数据里有一批图的标注框宽高为 0，这种脏数据会让回归损失爆炸，清洗掉就好了。

4.2 小目标检测效果差

小目标差是两阶段检测器的通病，但可以缓解。第一，提高输入分辨率，前面说过代价是显存。第二，用 FPN 融合浅层特征，浅层特征分辨率高，对小目标友好。第三，调整锚框尺度，加上更小的尺度。第四，用 ROI Align 替代 ROI 池化。这四招组合下来，小目标召回通常能提升不少。如果还不行，可能得考虑切图检测，把大图切成小块分别检测再合并。

4.3 推理速度慢

Faster RCNN 慢主要慢在 RPN 产生大量候选框，以及每个候选框都要过检测头。优化方向有几个：减少每张图的候选框数量（调低 RPN 的 NMS 后保留数），用更轻的骨干，降低输入分辨率，或者用 TensorRT 之类的推理加速。我做过一次优化，把输入从 800 降到 600，候选框从 2000 降到 1000，速度提升了近一倍，mAP 只掉了 1 个多点，在可接受范围内。

4.4 常见问题速查表

4.5 几个文档里不写的实操心得

第一，预训练权重的选择很重要。用 ImageNet 预训练的骨干，比从头训快得多，但如果你的数据是灰度图或者和自然图像差异大，可以考虑先用你的数据做个自监督预训练，或者至少把第一层卷积改成对应通道数并重新初始化。

第二，验证集要按场景划分，别随机划分。如果同一场景的图既在训练集又在验证集，验证指标会虚高，上线就露馅。我一般按采集批次或场景划分，虽然指标会难看点，但更真实。

第三，别迷信默认参数。torchvision 的默认锚框是给 COCO 调的，你的数据分布不一样，一定要改。我见过太多人直接拿默认参数训自己的数据，效果不好就怪模型，其实是参数没适配。

第四，训练时打开可视化，定期把预测框画在图上看看。很多时候指标看着还行，但一看图就发现框歪了、类别错了，这种问题光看数字是发现不了的。

5. 影响范围与延伸方向

Faster RCNN 的影响远不止它本身。它确立的“区域提议加区域分类”范式，被后来的 Mask RCNN、Cascade RCNN 等一堆模型继承和发展。Mask RCNN 在它基础上加了个分割分支，就能做实例分割；Cascade RCNN 用多个级联的检测头逐步提高 IoU 阈值，精度进一步提升。可以说，理解了 Faster RCNN，再看这些变体就是顺水推舟。

在应用层面，它的身影遍布工业质检、医学影像、遥感分析、自动驾驶感知等场景。我参与过的一个遥感项目，就是用 Faster RCNN 检测航拍图里的建筑物和车辆，配合切图策略处理超大分辨率影像，效果很稳。另一个质检项目里，用它检测产品表面缺陷，通过调整锚框和输入分辨率，把微小划痕的召回做到了 95% 以上。

如果你现在要上手，我的建议是先用 torchvision 的现成实现跑通一个 demo，再逐步替换骨干、调整锚框、优化后处理。别一上来就自己从头写，容易在细节里迷路。等你能把默认模型训到不错的指标，再去读源码，理解每个模块的实现，那时候收获会大得多。

最后分享一个小技巧：训练时把 RPN 输出的提议框也保存下来可视化，能帮你快速判断是提议阶段的问题还是分类阶段的问题。提议框都没框住目标，那后面再准也没用；提议框框住了但分类错了，那就是检测头或类别不平衡的问题。这个中间结果，是两阶段检测器相比单阶段最大的调试优势，一定要用起来。