R-CNN：从区域提议到深度特征，两阶段目标检测的奠基之作

1. 从“手工特征”到“区域提议”R-CNN为何是里程碑如果你在2014年前后接触过计算机视觉尤其是目标检测这个领域你大概率会经历一个从“手工特征滑动窗口”的蛮荒时代到“深度学习区域提议”的文明时代的转变。而R-CNN就是那个开启新时代的“火种”。今天我们不谈那些公式推导的教科书内容而是从一个实践者的角度彻底拆解R-CNN的来龙去脉、核心思想、实现细节以及它为什么在当时能引起轰动又为何在今天看来“笨拙”得可爱。在R-CNN之前主流的目标检测方法比如大名鼎鼎的DPMDeformable Parts Model本质上还是在玩“特征工程”的游戏。研究者们绞尽脑汁设计各种SIFT、HOG特征描述子再配合复杂的图形模型来定位物体。这种方法有两个致命伤一是性能天花板肉眼可见在PASCAL VOC这种经典数据集上mAP平均精度很难突破40%二是流程繁琐特征设计、模型训练、后处理优化环环相扣任何一个环节出问题都可能导致前功尽弃。R-CNN的出现用一个现在看来非常“暴力”但极其有效的思路打破了僵局用深度学习当时主要是CNN来统一特征提取和分类用“区域提议”来替代低效的“滑动窗口”。它的全称是“Regions with CNN features”这个名字就点明了核心先找出一堆可能包含物体的候选区域Region Proposals然后把每个区域都塞进一个CNN里提取特征最后用这些特征去做分类和边框回归。这个流程听起来简单但在当时它把PASCAL VOC 2012数据集的mAP从33.7%DPM-v5直接拉升到了53.3%提升幅度接近20个百分点堪称“降维打击”。所以理解R-CNN不仅仅是理解一个算法更是理解一个范式的转变。它证明了深度特征在视觉任务上的强大表征能力也暴露了传统方法在流程设计上的效率瓶颈。虽然我们今天回头看它的三步流水线提议、提特征、分类/回归显得笨重且缓慢但正是它奠定的“提议CNN”两阶段检测框架直接催生了Fast R-CNN、Faster R-CNN乃至Mask R-CNN这一系列统治级模型的诞生。接下来我们就钻进这个“古董”的内部看看它到底是怎么工作的以及我们在复现或理解时需要特别注意哪些已经被后人优化掉但在当时却至关重要的细节。2. R-CNN的三段式流水线提议、提特征、后处理R-CNN的整个流程可以清晰地划分为三个顺序执行的阶段就像一条老式的工业生产流水线。每个阶段在当时都有其创新性和必要性但也正是这种串行设计成为了它最大的性能瓶颈。2.1 阶段一生成区域提议——寻找“可能有什么”第一步不是直接上CNN而是先用一个独立的方法在输入图像上找出大约2000个可能包含物体的矩形区域这些区域被称为“区域提议”。R-CNN原文采用的是Selective Search算法。为什么是它而不是简单的滑动窗口或者随机采样注意选择性搜索Selective Search本身是一个复杂的无监督图像分割算法它的目标是生成一组在物体尺度、颜色、纹理、形状等方面都多样化的候选区域力求覆盖图像中所有潜在的物体。其核心思想是自底向上的层次分组从像素级的小区域开始根据颜色、纹理等相似度不断合并形成越来越大的区域并在这个过程中记录下所有合并产生的区域框作为候选。从实践角度看使用Selective Search有两大好处一是召回率高它能以较少的候选框约2000个覆盖图像中绝大多数物体避免了滑动窗口那种海量无效计算二是类别无关它不关心框里具体是什么物体只关心“这里可能有个东西”这正好契合了检测任务中“先定位后识别”的逻辑。当然它的缺点也很明显速度慢CPU上处理一张图需要几秒且是独立于检测模型的外部模块无法进行端到端优化。在具体操作时对于每张输入图像Selective Search会生成约2000个大小、长宽比各不相同的候选框。这些框的坐标是相对于原始图像的。由于后续的CNN需要固定尺寸的输入所以每一个候选框都需要被处理成统一大小。2.2 阶段二特征提取——CNN的统一“编码”拿到2000个候选框后R-CNN对每个框进行一个关键操作变形并送入一个预训练好的CNN如AlexNet中提取一个固定长度的特征向量。这里有几个极易被忽略但至关重要的细节区域变形Warping每个候选框形状各异但CNN的全连接层要求输入尺寸固定AlexNet是227x227。R-CNN采用了一种非常直接的方式——各向异性缩放。简单说就是把候选框里的图像像素不管原来的长宽比直接拉伸或压缩到227x227。这种做法必然会导致物体形变影响特征质量。后来的Fast R-CNN引入了ROI Pooling才解决了这个问题。CNN网络的选择与微调Fine-tuningR-CNN没有从头训练一个CNN而是采用了迁移学习的策略。它使用在ImageNet1000类图像分类任务上预训练好的AlexNet模型并将其最后一个1000维的分类层替换为一个新的N1维的分类层其中N是目标检测数据集的类别数如PASCAL VOC是20类再加一个背景类。然后用检测数据集的数据对这个修改后的网络进行微调。这里微调的数据不是原始图像而是那些经过变形的候选区域并且只对那些与真实框重叠度IoU大于0.5的候选区域进行正样本训练。特征向量的位置特征并不是从CNN的最终输出层提取的。R-CNN使用的是最后一个全连接层AlexNet的fc7层的4096维激活值作为特征向量。这个位置的选择很有讲究它位于分类层之前既包含了高层语义信息又比最终分类输出更具泛化性适合作为后续分类和回归任务的输入。这个阶段是计算开销最大的部分因为需要独立地对2000个区域分别进行一次前向传播。一张图片就要跑2000遍CNN这导致了R-CNN惊人的检测耗时GPU上处理一张图也需要几十秒。2.3 阶段三分类与边框回归——各司其职的“专家”提取出2000个4096维的特征向量后R-CNN并没有用一个多任务网络同时处理分类和定位而是训练了两套独立的“专家”模型类别分类器为每一个物体类别如人、车、猫训练一个独立的二分类SVM。例如对于“猫”这个类别SVM的任务是判断一个候选区域是“猫”还是“非猫”背景或其他物体。这里有一个关键点训练SVM时使用的正负样本定义与前面微调CNN时不同。微调CNN要求IoU0.5为正样本而训练SVM则要求更严格只有与真实框重叠最紧密IoU最高的区域才作为正样本IoU0.3的区域作为负样本。这是因为SVM被设计用来处理“难例”需要更干净的训练数据。边框回归器Bounding Box Regressor同样为每一个物体类别训练一个独立的回归模型原文使用线性回归。它的任务不是预测绝对坐标而是预测对候选框的修正量offsets。具体来说输入是CNN提取的特征输出是四个值dx, dy, dw, dh用于对候选框的中心点坐标x, y和宽高w, h进行微调使其更紧密地贴合真实物体。这个操作只对那些被分类器判定为某类物体的候选框进行。最后对于所有经过分类和回归修正的候选框会使用非极大值抑制NMS来去除冗余的检测结果。NMS的原理很简单对于同一类别的所有框按分类置信度排序保留置信度最高的框然后抑制掉所有与它重叠度IoU超过某个阈值如0.3的其他框依次类推。这是目标检测后处理的标准操作至今仍在广泛使用。3. 训练与测试的“魔鬼细节”那些论文里一笔带过的事读论文时算法流程看起来清晰明了但真正动手复现或深入理解时才会发现到处都是坑。R-CNN的训练和测试流程中充满了这类“魔鬼细节”。3.1 分阶段训练的必然性与复杂性R-CCNN为什么不能端到端训练根本原因在于它的三段式流水线设计存在不可微的操作。Selective Search是无监督算法生成的区域框是离散的、不可导的。因此梯度无法从SVM或回归器反向传播回CNN和区域提议模块。这就迫使训练必须分阶段进行CNN预训练与微调在ImageNet上预训练一个分类网络如AlexNet。然后在目标检测数据集上用扭曲后的候选区域IoU0.5的作为正样本对网络进行微调。这里有一个技巧由于正样本物体区域远少于负样本背景为了保证样本平衡在构造微调批次时采用了32正96负的组成方式。训练类别SVM固定微调好的CNN权重用它来为所有候选区域提取特征。然后用这些特征和新的、更严格的样本标签IoU最高的为正IoU0.3的为负来训练N个二分类SVM。注意此时CNN的权重不再更新。训练边框回归器同样固定CNN对于每个类别使用该类别的正样本候选框与真实框IoU0.6及其对应的特征来训练一个线性回归模型学习从候选框到真实框的修正量。这种分阶段训练不仅流程繁琐更重要的是造成了特征不一致。CNN微调时用的是IoU0.5的样本和Softmax损失而SVM训练时用的是IoU标准不同的样本和Hinge损失。这本质上是一种次优的近似因为两个阶段优化的目标并不完全对齐。3.2 测试时的效率瓶颈与工程优化测试推理时R-CNN的慢是出了名的。我们来算一笔账假设用Selective Search生成2000个提议对每个提议变形后送入CNN提取特征4096维这就是2000次前向传播。然后每个4096维的特征要分别通过21个SVM20类背景和对应的回归器进行计算。这其中的计算冗余是巨大的因为2000个候选区域来自同一张图像它们对应的CNN特征计算有大量重叠卷积运算被重复执行了。当时的一些工程优化尝试包括共享卷积计算这是后来Fast R-CNN的核心思想。但在原始R-CNN中由于区域变形在很早的步骤难以实现共享。有人尝试先将整张图通过CNN的卷积层得到特征图然后在特征图上对应区域进行裁剪和变形但变形操作在特征空间同样低效。SVM和回归器的计算优化由于特征维度固定4096且SVM和回归器都是线性模型它们的计算可以非常快。瓶颈几乎完全集中在CNN特征提取部分。因此在复现或理解R-CNN性能时必须明确它的主要时间都花在了“为每个区域单独跑一遍CNN”这个操作上。任何试图提升其速度的努力如果不改变这个根本模式都收效甚微。3.3 样本定义与数据处理的“潜规则”样本的定义直接影响模型性能。R-CNN在这方面的处理非常“手工”且值得玩味为何微调CNN和训练SVM用不同的IoU阈值作者认为CNN需要大量数据来防止过拟合因此采用更宽松的IoU0.5标准来获得更多正样本让CNN学习到更鲁棒的特征。而SVM作为一种对支持向量敏感的模型需要定义更精确的“正样本”即真正的物体因此采用最紧致的样本每个真实物体只取IoU最高的那个提议或IoU0.7的严格样本来获得更清晰的决策边界。负样本的挖掘背景负样本数量庞大。直接使用所有IoU0.3的区域作为负样本训练SVM可能会导致样本过于简单。实践中常常会采用“难例挖掘”技术即先用初始模型跑一遍数据把那些被错误分类为正样本的背景区域难负例加入训练集重新训练SVM如此迭代以提升模型对困难背景的区分能力。这在R-CNN的后续实现中很常见。4. R-CNN的遗产、局限与直接启发尽管R-CNN本身已不再是实用的检测模型但它留下的思想遗产极其丰厚其局限性也直接指明了后续研究的方向。4.1 核心贡献确立了深度学习检测的基本范式“区域提议CNN”的两阶段框架这是R-CNN最根本的贡献。它明确了目标检测可以分解为“找可能的位置”和“识别并精修位置”两个子任务。这个框架的灵活性极高后续的Fast R-CNN、Faster R-CNN乃至 Cascade R-CNN都是在这个框架内进行优化。证明了迁移学习的威力在目标检测数据相对匮乏的时代利用在大规模分类数据集ImageNet上预训练的模型进行微调极大地提升了检测性能这成为了深度学习时代解决小数据问题的标准操作。边框回归Bounding Box Regression的引入将定位问题形式化为对提议框的连续值修正这是一个非常巧妙的思路使得检测框的精度不再依赖于区域提议的初始精度后者只需有较高的召回率即可。4.2 致命局限效率与优雅性的缺失训练是多阶段的、复杂的如前所述需要依次进行CNN微调、SVM训练、回归器训练。流程冗长且特征学习CNN与分类/回归SVM目标不一致。训练耗时且耗存储需要将CNN为所有区域提取的特征每张图2000x4096写入磁盘用于训练SVM和回归器。这在当时意味着需要数百GB的存储空间。推理速度极慢由于每个区域独立通过CNN导致重复计算。在GPU上处理一张图也需要几十秒完全无法满足实时应用需求。区域变形导致信息丢失将不同长宽比的区域粗暴地变形为正方形破坏了物体的原始空间结构影响了对形变敏感物体的检测精度。4.3 对Fast R-CNN与Faster R-CNN的直接启发R-CNN的每一个局限几乎都催生了一个重要的改进工作针对“训练/测试慢”和“多阶段训练”Fast R-CNN应运而生。它的核心创新是ROI Pooling和多任务损失。ROI Pooling先在整张图像上运行一次CNN的卷积层得到共享的特征图。对于每个区域提议在特征图上找到对应的区域称为Region of Interest, ROI然后将这个大小不一的ROI特征网格池化到固定尺寸如7x7。这完美解决了重复计算卷积的问题。多任务损失设计了一个网络在共享的卷积特征基础上并行输出两个分支一个Softmax分类分支替代SVM和一个边框回归分支替代独立的回归器。两个分支的损失被加权求和从而实现了端到端的单阶段训练。训练和测试速度得到了数量级的提升。针对“区域提议速度慢且非端到端”Faster R-CNN完成了最后一击。它提出了区域提议网络Region Proposal Network, RPN。RPN是一个全卷积网络直接在共享的特征图上滑动预测每个位置是否存在物体以及对应的粗略边界框。这样区域提议这个原本独立、缓慢的模块被集成到了CNN内部并且可以通过梯度下降进行端到端优化。从此目标检测进入了完全端到端的深度学习时代。针对“更精细的识别任务”Mask R-CNN在Faster R-CNN的基础上增加了一个并行的掩码预测分支用于实例分割即不仅框出物体还要标出每个像素是否属于该物体。它同时改进了ROI Pooling提出了ROI Align解决了ROI Pooling中两次量化操作带来的像素不对齐问题极大地提升了像素级任务的精度。所以当我们说“R-CNN史上最全讲解”时绝不能孤立地只看它本身。它的价值在于承前启后总结了前深度学习时代区域提议的思想开启了用CNN学习视觉特征的新纪元而其所有的不完美都成为了后续研究清晰的路标。理解R-CNN就是理解现代两阶段目标检测模型演化的“源代码”。