【论文分享】Learning_Rich

【论文分享】Learning_Rich_Features

目标检测

最后更新 2020-11-11 14:11 阅读 1486

最后更新 2020-11-11 14:11

阅读 1486

目标检测

##写在前面
第一次写这种笔记感觉，不大知道结构啥的，把自己觉得重要的东西摘出来记录一下吧。
##摘要
> To address these issues, we propose a coarse to-fine architecture named Constrained R-CNN for complete and accurate image forensics. First, the learnable manipulation feature extractor learns a unified feature representation directly from data.

大多数的基于深度学习的模型在做图像操作检测的时候关注的是操作区域的定位，而忽略了操作的分类。为了解决这样的问题，本文提出了由粗到细的架构。首先，可学习的操作特征提取器将从数据中直接学习独特的特征表示（将此种方法与SRM filter进行了对比）
>Second, the attention region proposal network effectively discriminates manipulated regions for the next manipulation classification and coarse localization.

之后，注意区域建议网络（RPN-A）则有效地辨别出经历过处理的区域，为之后的操作分类以及粗略定位作准备
>Then, the skip structure fuses low-level and high-level information to refine the global manipulation features. Finally, the coarse localization information guides the model to further learn the finer local features and segment out the tampered region.

然后，融合了低级和高级的信息来细化全局的操作特征。最后，粗略定位信息指导模型来进一步地学习到更好的局部特征，并且把篡改过的区域分割出来。
##引言
> Nevertheless, these methods only mitigate the issue of insufficient generalization ability, they are still fundamentally limited by handcrafted or predetermined features.

目前基于深度学习的方法相比于早期的图像操纵检测方法，如频域特征（frequency domain characteristics）和CFA（color filter array），更多的是提高了模型的泛化性能。一般都是先提取特征，再将特征单独或是一起送入到深度学习的模型当中，来检测像素是否经过篡改。这样的基于深度学习的方法从根本上依然受手动或是预定特征的限制。

>Such as the copy-move image in Fig. 1, if only the mask is provided, we will probably mistake it as a splicing image. Therefore, if the model only focuses on one goal, the results of forensics will not be convincing.

并且，图像操作的检测包含的两个目标：操作技术的分类以及操作的定位。通常的方法只关心后者，而忽略了前者的重要性。例如，下图的copy-move图像，如果最终只输出mask，则容易被认为是splicing图像。因此，模型只关注一个目标，最终取证的结果就不会有说服力。

![](https://pic3.zhimg.com/80/v2-2b5744a2c1b0eff32372f6b8197313fe_720w.jpg)

>This motivates us to design a general solution that applies to detect various content manipulation, which achieves manipulation techniques classification and tampered region segmentation simultaneously

这促使我们设计了一种适用于检测各种内容操纵的通用解决方案，它同时实现了操纵技术分类以及篡改区域分割。
>For the first issue, we design a learnable manipulation feature extractor (LMFE) based on the constrained convolution layer [10] to create a unified feature representation of various content manipulation directly from data.

针对第一个问题，即操纵技术分类，我们设计了基于约束的卷积层的可学习操作特征提取器（LMFE），直接从数据中产生各种内容操作的统一的特征表示

针对第二个问题，即篡改区域分割，我们设计了一个两阶段的架构来模拟现实中从粗到细的取证过程。详细来说，我们使用了Mask R-CNN，包括了两个阶段：

1. 设计了注意区域建议网络（RPN-A），以识别经过篡改的区域，用于后面的操作技术分类以及粗略的定位。
1. 跳跃结构融合低级与高级的信息，增强了全局特征表示。来自第一阶段的边框信息（bounding box information）将指导第二阶段关注边框中的局部特征，用于最后的篡改区域分割。

我们的主要贡献如下：

- A coarse-to-fine architecture named Constrained R-CNN，能够同时实现操纵技术分类以及篡改区域分割
- A single-stream learnable manipulation feature extractor （LMFE），直接从数据中创建各种内容操作技术的统一特征表示
- An attention regional proposal network (RPN-A) ，有效区分被篡改过的区域。

##所提出的方法
现实世界中的取证往往遵循着这样的过程规律，粗略地观察图像来进行近似篡改定位，而在精细阶段，则对特定的区域进行更加详细的分析，寻找更多的线索来对篡改区域进行分割。

如下图，Constrained R-CNN由可学习操作特征提取器（LMFE），粗略操作检测（Stage-1），精细操作分割（Stage-2）组成。
![](https://pic1.zhimg.com/80/v2-38d0eae6698a766e7b51e7dabb391998_720w.jpg)
- LMFE模块捕获各种内容操作的伪造线索，并创建统一的特征表示。
- Stage-1，包含了注意区域建议网络（RPN-A）和预测模块，执行操纵技术的分类以及边框回归（bounding box regression）。
- Stage-2，跳跃结构融合多级信息，增强全局特征表示。作为先验知识，Stage-1的边框引导Stage-2聚焦局部特征，用于之后的操作分割。

**Learnable manipulation feature extractor（LMFE）**

SRM 滤波器常用于捕捉操纵线索，例如边界异常、噪声模式不一致，然而，由于手工方法的限制，SRM 滤波器容易受到恶意攻击。与此相比，从数据中自适应地学习操纵特征的约束卷积层（constrained convolution layer），能够提供更好的通用性与鲁棒性。约束应用如下：
![](https://pic1.zhimg.com/80/v2-93404bfa216cdb6772ae3ab5a7c74200_720w.jpg)
其中， [公式] 表示的是第k个卷积核，（0,0）是 [公式] 的中心坐标。 用整个模型来更新 [公式] ，然后执行上述约束过程。

下图比较了SRM滤波器与约束卷积层的可视化结果，约束卷积层能够保留更丰富的信息，从篡改区域的细节上看，约束卷积层能够突出真实区域与篡改区域之间的噪声不一致性。
![](https://pic4.zhimg.com/80/v2-9a17127c50e0709400f181f5e7439f9b_720w.jpg)
根据这样的结果，本文设计了一个基于约束卷积层（constrained convolution layer）的可学习操纵特征提取器（LMFE），用来自适应地学习操纵检测特征。

如下图，LMFE以被操纵的图像作为输入，通过约束卷积层能够捕捉丰富的操纵线索。然后将约束卷积层特征输入到ResNet-101中，用来创建各种内容操纵的统一的特征表示。由于单流的设计，LMFE与《Learning rich features for image manipulation detection》中的方法相比，只有一半的参数。
![](https://pic1.zhimg.com/80/v2-19dbdcf999f11dd45a9170710933b690_720w.jpg)
**Coarse Manipulation Detection (Stage-1)**

Stage-1的模型主要是用来进行操纵技术的分类以及粗略的操纵区域定位，包括：注意区域建议网络（RPN-A）和预测模块

**注意区域建议网络（RPN-A）：**

尽管约束卷积层能够捕捉到丰富的操纵线索，但会丢失大量的内容信息，比如颜色，亮度。内容信息的缺乏会削弱全局特征的类间区分，这会导致操纵分割也被削弱。因此，本文设计了注意区域建议网络来解决这个问题，能够让网络学习具有很强的类间区分能力的特征表示。

具体来说，RPN-A添加了卷积块的注意机制（convolution block attention model，CBAM），CBAM能够沿着两个独立的维度，即空间维度与通道维度推断出两张注意力地图。然后将这两个注意力图与输入特征图相乘，得到更具区别性的特征。利用CBAM的特征图提出了关注区域，也就是潜在的篡改区域。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://www.flyai.com/article/754

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除