什么蘑菇?
最后更新 2021/08/27 17:43
阅读 13073
图像分类
江水
21
获得赞1
发布的文章3
答辩的项目Batch大小为64,循环次数为30次,通过在线上环境完成训练,模型最优精度评分为98.71。
最后更新 2021/08/27 17:43
阅读 13073
图像分类
一、赛题分析
本次竞赛使用的数据集由北欧真菌学家协会(Mycologist‘s Society of Northern Europe)提供的 9 种常见北欧蘑菇属的图像组成,从给的样例图片来看,图片比较清淅,尺寸很大,可以留给网络发挥的空间。
主要难点:
1、数据不平衡性。
2、图片大小不一。
3、蘑菇的形态各样。
二、网络介绍
对于该题,尝试过常规的几种网络,比如resnext、seresnext、resnest、efficientnet等系列,在当下网络中,最热的不过是注意力机制,每种网络的注意力机制又有各自的区别,经过测试,seresnext和resnest这两种网络效果较好。
恰巧,又看到一篇介绍Transformer的文章,说是Transformer在自然语言处理建立霸主地位后,又来计算机视觉领域屠榜,在图片分类、分割、检测等有着惊艳表现,各项指标都领先传统的卷积神经网络。后来,看到chenfengshf小伙伴上传了基于微软的Swin Transformer的预训练模型,我也顺便做了测试,效果确实不错,成绩几乎提升了1个点。
下面,结合自己学习的体会,向大家简要介绍一下Swin Transformer网络。
为什么要做这个研究?
将Transformer的高性能迁移到视觉领域,解决CNN中对于全局信息特征提取的不足。将注意力计算限制在窗口中,引入CNN卷积操作的局部性,节省计算量。
实验方法是什么样的?
Swin Transformer提出hierarchical Transformer,来构建不同尺度的特征金字塔,每一层使用移位窗口将self-attention计算限制在不重叠的局部窗口内,同时通过跨窗口连接增加不同窗口之间的信息交互。
三、训练方式
1.数据增强方式:
随机旋转
随机剪裁
随机水平垂直翻转
随机平移
尺度变化
2. 学习率:余弦下降
3. Optimizer:Adam
4. 标签平滑
5. 三模型集成+交叉验证
6. 先冻结训练10轮,再全部训练
7. 预测时,采用TenCrop
图像分类
请先绑定您的微信账号 点击立即绑定
敬请谅解,如有疑问请联系FlyAI客服