关于yolo的那点事（v1-v5）-FlyAI

关于yolo的那点事（v1-v5）

YOLO

最后更新 2021-01-15 16:21 阅读 14941

最后更新 2021-01-15 16:21

阅读 14941

YOLO

## 做心理卡牌目标检测用YOLO心得
这一次跟公司一起实习的两个小姐姐做了一下这个比赛，分别用了FasterRcnn与yolov5，SSD暂时结果还没做出来，FasterRcnn精度到了78.5左右，yolov5s（我负责）初调85.5左右，有望冲击90+，**下面就来谈一谈这几天学习yolo的心得（赚点积分）**
###YOLOv1
针对论文来谈一下，加上个人理解
- 将检测变为一个 regression problem（回归问题），YOLO 从输入的图像，仅仅经过一个 neural network，直接得到 bounding boxes 以及每个 bounding box 所属类别的概率。正因为整个的检测过程仅仅有一个网络，所以它可以直接进行end-to-end （端对端：指的是输入原始数据，输出的是最后结果，应用在特征学习融入算法，无需单独处理）的优化。
- 其次就是快（extremely fast），原因不外乎两个，第一，**受益于将 detection（检测） 架构设计成一个 regression problem（回归问题），以及简单的 pipeline**,YOLO之前的物体检测系统使用分类器来完成物体检测任务：如DPM系统，要使用一个sliding window（滑窗）在整张图像上均匀滑动，用分类器评估是否有物体，如R-CNN方法使用region proposal（区域建议）来生成整张图像中可能包含待检测物体的可能的 bounding boxes，然后用分类器来评估这些boxes，接着通过post-processing来改善bounding boxes，消除重复的检测目标，并基于整个场景中的其他物体重新对boxes进行打分，整个流程执行下来很慢，而且因为这些环节都是分开训练的，检测性能很难进行优化；其次，输出为全连接层，是一个回归问题，用的CNN网络，输入整张图片，输出所属类别的概率。
- YOLO比DPM、R-CNN等物体检测系统能够学到更加抽象的物体的特征，个人觉得，因为DPM、R-CNN等物体检测系统要用分类器或者滑窗来检测摸个区域是否有目标物体，而这种操作不具有全局性，将图像分成多个部分，而YOLOv1直接将整张图输入到CNN中，使用来自整个图像的特征来预测每个 bounding boxes（边界框），图像的全局性得以保留，这也导致了一些问题。
- 导致的问题是：相较于其他的state-of-the-art （先进的物体检测系统），YOLO在物体定位时更容易出错，但是在背景上预测出不存在的物体（false positives）的情况会少一些。也就是说YOLOV1在检测目标相对背景个体较大的时候表现好，但是检测个体较小或者有多个个体比较密集的时候表现不好，具体原因慢慢分析；
####YOLOv1实际操作
用YOLO处理图像分如下三个步骤
(1)将输入图像的大小调整为448×448；
(2)在图像上运行单个卷积网络；
(3)根据模型的置信度对得到的检测进行阈值化。
![](https://dataset.flyai.com/微信截图_20210115100520.png)
先将输入图像分成$$s*s$$个 grid（栅格），如果一个物体的中心掉落在一个 grid cell （网格单元）内，那么这个 grid cell （网格单元）就负责检测这个物体。比如上面图上这个狗子，就用第（2,3）块方块作为检测中心。
其次，每一个 grid cell 预测 B 个 bounding boxes（中间上面的内附图），以及这些 bounding boxes 的得分：score。这个 score 反应了模型对于这个 grid cell 中预测是否含有物体，以及是这个物体的可能性是多少。
如果这个 cell 中不存在一个 object，则 score 应该为0 ；否则的话，score 则为 predicted box 与 ground truth 之间的 IoU（intersection over union：一种测量在特定数据集中检测相应物体准确度的一个标准，具体可以参见论文）。换句话说：若bounding box中包含物体，则P(object) = 1；否则P(object)=0。IOU(intersection over union)为预测bounding box与物体真实区域的交集面积（以像素为单位，用真实区域的像素面积归一化到[0,1]区间）
论文中每个框输出5个预测值，x,y,w,h,confidence。坐标（x,y）代表了 bounding box 的中心与 grid cell 边界的相对值。width、height 则是相对于整幅图像的预测值(边框的宽和高)。confidence 就是 IoU 值。在代码实际训练过程中，w和h的值使用图像的宽度和高度进行归一化到[0,1]区间内；x，y是bounding box中心位置相对于当前格子位置的偏移值，并且被归一化到[0,1]。
每一个栅格还要预测C个 conditional class probability（条件类别概率）：Pr(Classi|Object)。即在一个栅格包含一个Object的前提下，它属于某个类的概率。这里的C不考虑框B的数量。
在测试阶段，将每个栅格的conditional class probabilities与每个 bounding box的 confidence相乘，可得到每个bounding box的具体类别的confidence score（公式参见论文）。这个乘积既包含了bounding box中预测的class的 probability信息，也反映了bounding box是否含有Object和bounding box坐标的准确度。

**注意：**
1.由于输出层为全连接层，因此在检测时，YOLO训练模型只支持与训练图像相同的输入分辨率。
2.虽然每个格子可以预测B个bounding box，但是最终只选择只选择IOU最高的bounding box作为物体检测输出，即每个格子最多只预测出一个物体。当物体占画面比例较小，如图像中包含畜群或鸟群时，每个格子包含多个物体，但却只能检测出其中一个。这是YOLO方法的一个缺陷。这也是开头说的对相互靠的很近的物体（挨在一起且中点都落在同一个格子上的情况），还有很小的群体检测效果不好的原因。

网络设计，YOLO网络结构借鉴了 GoogLeNet 。YOLO检测网络包括24个卷积层和2个全连接层。

YOLOv1就到这吧，训练过程细节可以参考原文与代码。

###YOLOv2
读完YOLOv2后，就是觉得对YOLOv1的一个优化（将FastRcnn上的内容与YOLOv1结合再加一些trick）。
创新点如下：（这个图应该简单明了了）
![](https://dataset.flyai.com/微信截图_20210115103959.png)
-  Batch Normalization. 批量归一化导致收敛的显着改善，同时消除了对其他形式的正则化的需要。通过在YOLO中的所有卷积层上添加批量标准化，使mAP提高2％以上。批量标准化也有助于模型正则化。通过批量标准化，我们可以从模型中删除dropout而不会过度拟合。
- High Resolution Classifier.首先在ImageNet上以完整的448 * 448分辨率微调分类网络10个epoch。这使网络有时间调整其卷积核，以便在更高分辨率的输入上更好地工作。然后我们在检测时对生成的网络进行微调。感觉就是一个little trick。
- Convolutional With Anchor Boxes. 移除了YOLO网络中的全连接层并使用anchor boxes来预测边界框。结果为：虽然mAP减少，召回的增加也意味着我们的模型有更大的改进空间。
- Dimension Clusters. 使用k-means聚类找到比较好的先验box。结果为：聚类中心与与手工挑选的anchor boxes明显不同。宽，短的boxes更少，相反高，瘦的boxes更多。
- Direct Location Prediction. 将预测box的边框转化为预测box的中心。结果：对约束位置进行预测，因此参数化更容易学习，使网络更稳定。
- Multi-Scale Training.训练多种分辨率的图。
- Further Experiment. VOC 2012数据集，COCO数据集。
网络：Darknet-19
分类和检测数据的联合训练机制：在训练期间，混合来自检测和分类数据集的图像。当网络看到标记为检测的图像时，可以基于完整的YOLOv2损失函数反向传播。当它看到一个分类图像，只反向传播从结构的分类特定部分的损失。
###YOLOv3
YOLOv3相比之前的YOLOv2，是一个比较大的改进，其效果也是最好的。
- 在训练期间，我们使用平方误差损失的总和。
- YOLOv3使用逻辑回归预测每个边界框（bounding box）的对象分数。这里我的理解是，每次只会分配一个边界框，每次进行更新，保留最好的边界框。
- 每个框使用多标签分类来预测边界框可能包含的类。不使用softmax，因为它对于高性能没有必要，相反，只是使用独立的逻辑分类器。在训练过程中，使用二元交叉熵损失来进行类别预测。个人理解为：softmax会使得网络认为每个框中只有一个类别，如果遇到一个框里有多个类别的情况，只能返回一个object,必然出问题。
- 提取三种不同尺度的特征，形成金字塔网络。
- 从前两层中取得特征图（feature map），并将其上采样2倍与网络中的较早版本获取特征图，使用element-wise addition将其进行合并。能够从早期特征映射中的上采样特征和更细粒度的信息中获得更有意义的语义信息。再添加几个卷积层来处理这个组合的特征图，并最终预测出一个相似的张量
- 网络上，新网络是用于YOLOv2，Darknet-19中的网络和那些新颖的残差网络的混合方法。网络使用连续的3×3和1×1卷积层，但现在也有一些shotcut连接，该网络明显更大，有53个卷积层。

结果：随着新的多尺度预测，我们看到YOLOv3在小目标中表现变好了。但是，它在中等和更大尺寸的物体上的表现相对较差。速度确实快了，但mAP没有明显提升，特别是IOU > 0.5时。
v3同等尺寸下性能更强，并且具有很不错的稳定性，是第一个可以预测对象的类别和边界框的端对端神经网络。
大佬论文越写越随意，果然是大佬的作风。。。。哈哈
###YOLOv4
感觉是一个综述文章，找到最佳搭配，将理论变成运用层面

YOLOv4主要目标是设计生产系统中目标检测的快速运行速度和并行计算的优化，希望所设计的对象可以很容易地训练和使用。
贡献：
- 本文开发了一个高效、强大的目标检测模型。它使得每个人都可以使用1080Ti或2080Ti的GPU来训练一个超快速和精确的目标检测。
- 在检测训练期间，本文验证了最先进的免费包和特殊包目标检测方法的影响。
- 本文修改了最新的方法，使之更有效，更适合于单一GPU训练，包括CBN、PAN、SAM等。

提出了两种实时神经网络方案：
- 对于GPU，本文在卷积层中使用少量组（1-8）：CSPResNeXt50/CSPDarknet53
- 对于VPU-本文使用分组卷积，但本文不使用Squeeze-and-excitement（SE）块-具体来说，这包括以下模型：Ef ficientnet lite/MixNet[76]/GhostNet[21]/mobilenet3

结论：选择CSPDarknet53骨干网、SPP附加模块、PANet路径聚合颈部和YOLOv3（基于锚的）头部作为YOLOv4的体系结构。
YOLOv4包括：
• Backbone: CSPDarknet53 [81]
• Neck: SPP [25], PAN [49]
• Head: YOLOv3 [63]
•主干：CSPDarknet53[81]
•颈部：SPP[25]，PAN[49]
•头部：YOLOv3[63]

Yolov4用途：
•主干线免费包（BoF）：CutMix和Mosaic数据增强、DropBlock正则化、类标签平滑
•主干网专用包（BO）：误激活、跨阶段部分连接（CSP）、多输入加权剩余连接（MiWRC）
•检测的免费包（BoF）：CIoU丢失，CmBN，DropBlock正则化，马赛克数据增强，自我对抗训练，消除网格敏感度，使用多个锚实现单一地面真理，cosineanAlingScheduler[52]，最佳超参数，随机训练形状
•检测专用包（BoS）：Mish激活、SPP块、SAM块、泛路径聚合块、DIoU NMS Experiments

感觉还要从代码入手，代码还没跑通，不做分析。

###YOLOv5
YOLOv5的模型架构是与V4非常相近,会结合YOLOv4一起分析。
- Data Augmentation：YOLOv4使用了多种数据增强技术的组合，对于单一图片，除了经典的几何畸变与光照畸变外，还创新地使用了图像遮挡(Random Erase，Cutout，Hide and Seek，Grid Mask ，MixUp)技术，对于多图组合，作者混合使用了CutMix与Mosaic 技术。除此之外，作者还使用了Self-Adversarial Training (SAT)来进行数据增强。YOLOV5都会通过数据加载器传递每一批训练数据，并同时增强训练数据。数据加载器进行三种数据增强：缩放，色彩空间调整和马赛克增强。
- Auto Learning Bounding Box Anchors-自适应锚定框:在YOLOv5 中锚定框是基于训练数据自动学习的。YOLOv4并没有自适应锚定框。
- Backbone-跨阶段局部网络(CSP)：YOLO V5和V4都使用CSPDarknet作为Backbone，从输入图像中提取丰富的信息特征。CSPNet全称是Cross Stage Partial Networks，也就是跨阶段局部网络。CSPNet解决了其他大型卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，既保证了推理速度和准确率，又减小了模型尺寸。CSPNet实际上是基于Densnet的思想，复制基础层的特征映射图，通过dense block 发送副本到下一个阶段，从而将基础层的特征映射图分离出来。这样可以有效缓解梯度消失问题(通过非常深的网络很难去反推丢失信号) ，支持特征传播，鼓励网络重用特征，从而减少网络参数数量。
- Neck-路径聚合网络(PANET)：Neck主要用于生成特征金字塔。特征金字塔会增强模型对于不同缩放尺度对象的检测，从而能够识别不同大小和尺度的同一个物体。YOLO V4的研究中，PANET被认为是最适合YOLO的特征融合网络，因此YOLO V5和V4都使用PANET作为Neck来聚合特征。
- Head-YOLO 通用检测层：模型Head主要用于最终检测部分。它在特征图上应用锚定框，并生成带有类概率、对象得分和包围框的最终输出向量。在 YOLO V5模型中，模型Head与之前的 YOLO v3和 v4版本相同。
- Activation Function: YOLO v5的作者使用了 Leaky ReLU 和 Sigmoid 激活函数。在 YOLO v5中，中间/隐藏层使用了 Leaky ReLU 激活函数，最后的检测层使用了 Sigmoid 形激活函数。而YOLO v4使用Mish激活函数。
- Optimization Function: YOLO v5的作者为我们提供了两个优化函数Adam和SGD，并都预设了与之匹配的训练超参数。默认为SGD。YOLO v4使用SGD。
- Cost Function: YOLO V5使用 GIOU Loss作为bounding box的损失。YOLO V5使用二进制交叉熵和 Logits 损失函数计算类概率和目标得分的损失。同时我们也可以使用fl _ gamma参数来激活Focal loss计算损失函数。YOLO V4使用 CIOU Loss作为bounding box的损失，与其他提到的方法相比，CIOU带来了更快的收敛和更好的性能。

**YOLOv5来自于：一文读懂YOLOv5 与 YOLOv4**https://blog.csdn.net/moxibingdao/article/details/107438085

感谢大佬的总结，萌新搬运，侵权删，初学目标检测，有些说的不对的地方感谢指正，谢谢

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://www.flyai.com/article/807

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除