非黑即白

  • 0

    获得赞
  • 0

    发布的文章
  • 0

    答辩的项目

秃头识别趣味新手赛top3——答辩

Batch大小为32,循环次数为50次,损失函数优化完,最终完成评分为97.73。

最后更新 2020/08/10 10:52 阅读 476

秃头识别趣味新手赛

最后更新 2020/08/10 10:52

阅读 476

视觉计算

首先我们回顾一下赛题。这是一个二分类项目,就是分0和1那种。然后数据集的话,一共有9000张图像,训练集和验证集的划分比例是7:3,不过下载到本地的只有1273张,用于调试。然后通过训练这个数据集,可以快速计算合影、视频过街道中的“秃头率”。也可以在医学方面协助医生进行病理性脱发的病程判定。还可以成为销售线索的工具。评估方式是准确率accuracy,就是正确预测样本除以总样本。  

 对本地的数据集做一个简单的分析,发现所有图片都为218*178的3通道图片,正例和反例比例接近。浏览一遍数据集,绝大多数图片人脸居中,人脸占整张图片的比例也比较接近。总的来看数据已经被官方处理得很规整了,也没看到奇异数据。

image.png

我用到的预处理方法,就是最简单的那几种,对训练集随机水平翻转和随机旋转30度,接着是类型转换和normalize标准化。验证集没有做过多处理。我也试过其他一些预处理的方法,比如mixup那些,但没涨点,所以就放弃了。  

image.png

然后是训练部分。先介绍下超参数,首先我的训练集和验证集的比例是99:1,之前我看小林子的答辩看他用了几次这个比例,我就拿了用下,发现还是有点效果的,然后是batchsize我给了32,循环训练100次,损失函数选择分类常用的交叉熵。接着是优化器这一块,一开始用的是Adam,然后突然看到一个ranger的优化器,就行拿来试试,发现是可以涨点的。 

 它是Adam的变体RAdam和Lookahead的结合。RAdam是Adam结合了warmup预热,有助于降低训练起步阶段时的差异,并且不需要手动预热,训练过程自动实现,减少初始训练时的方差,减少波动,不过训练后阶段几乎就和Adam一样了。 

Ranger参考链接:最强深度学习优化器 Ranger 开源:RAdam+LookAhead 强强结合,性能更优速度更快

GitHub地址:Ranger-Deep-Learning-Optimizer

 Lookahead的话,就类比下山,一个人下山找路,另一个人在山上看着,下面的人遇到死路后就把他唤回,这能在寻找出路的时候快速取得进展。Lookahead的意义基本就是这样,会保留一个额外的权重副本。Ranger中,Lookahead保留一个权重副本,然后让RAdam进行几轮探索,然后更新RAdam的权重。  

 然后是学习率的设置,初始是3e-4,然后进行衰减,这里我用的是一个阈值的衰减方法,就是给epoch设定一个阈值,达到了就进行衰减,当然这种做法不够soft,大家不妨试试平滑的衰减方式。  

image.png

 接下来是模型部分,这里我用了三个模型的集成,Resnet101、Densenet121和EfficientNet-b5,都用了预训练的参数,然后做了下微调就直接用了。  image.png

最后到预测部分,tta大家都比较常用的,就是在测试时对输入图像进行多次图像增强,然后取每次预测结果的平均值。我的做法是保留一张输入图像,然后做了4次增强,用的是训练集的预处理方法,一共五张图像,预测出结果后再取均值。并且我对三个模型都用了TTA了预测,每个模型5个结果,取均值,然后对三个模型的结果再取均值。image.png谢谢!

本文为作者在FlyAI平台发布的原创内容,采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://www.flyai.com/n/141802
立即参加 秃头识别趣味新手赛
代码展示

视觉计算

选择查看文件
$vue{codeKeys}
  • $vue{ix}
赞赏贡献者还可以查看和下载优质代码内容哦!
赞赏 ¥16.72元
©以上内容仅用于在FlyAI平台交流学习,禁止转载、商用;违者将依法追究法律责任。
讨论
500字
表情
每日优质讨论奖励 20FAI
发送
每日优质讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除
感谢您的关注
该篇内容公开后我们将会给你推送公开通知
好的
发布成功!
您的公开申请已发送至后台审核,
通过后将公开展示本详情页!
知道了
向贡献者赞赏
¥16.72
微信支付
支付宝

请先绑定您的微信账号 点击立即绑定

立即支付
温馨提示:
支付成功后不支持申请退款,请理性消费;
支付成功将自动解锁当前页面代码内容,付款前请确认账号信息。
微信扫码支付
请前往Web网页进行支付

敬请谅解,如有疑问请联系FlyAI客服

知道了
举报
请选择举报理由
确定
提示
确定要删除?
取消删除