在多标签分类任务中的注意力视觉一致性-FlyAI

在多标签分类任务中的注意力视觉一致性

深度学习

最后更新 2020-06-08 10:41 阅读 247

最后更新 2020-06-08 10:41

阅读 247

深度学习

# 《Visual Attention Consistency Under Image Transforms for Multi-Label Image Classification》
* 图像变化下的注意力一致性在多标签图像分类下的应用。
* 本文使用很简单的方法利用class attention map（CAM）使用一个称作Attention consistency loss 的无监督的损失函数来进行不变性的约束。
* 具有强可解释性，并且也达到了很好的效果
# 作者介绍
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207152146415.png)
因为作者都不是非常出名，所以不做过多介绍
# Motivation
![Motivation](https://img-blog.csdnimg.cn/20191207152244983.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
上面是我ppt里的内容
总结如下：
1.  human 的视觉感知对图像的变换（旋转、缩放、反转等）具有很强的不变性，而这种不变性在CNNs中是有缺陷的。作者希望网络也有这种作用
2. 本文提出了data augumentation（数据增广）的一个缺陷，我对它的理解是：图像的一些变换（如旋转）应该是比较渐层能学习到的，但是在一般使用数据增广的策略中，都只是使用最后loss来对这种变换进行学习。作者认为这是不合理的。
3. related study并没有很好的解决consistency的问题
## 首先解释什么是consistency
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019120718220828.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
## 问题描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182221960.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
## 网络框架
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182226792.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
## 两个损失函数
这都是两个很普通的损失函数，对于第一个损失函数的理解可能会有点问题，百度上有很多解释的，pj是positive sample在dataset中所占的比例。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182239595.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)

![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182246945.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
## 实验结果

![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182300319.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182303841.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)

![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182319393.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)

![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182331431.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)
## 对论文的总结和分析
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191207182334227.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzExNg==,size_16,color_FFFFFF,t_70)

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://www.flyai.com/article/534

讨论

500字

表情

每日优质讨论奖励 20FAI

发送

每日优质讨论奖励 20FAI

删除确认

是否删除该条评论？

取消删除