zzc

  • 2

    获得赞
  • 2

    发布的文章
  • 0

    答辩的项目

PC-DARTS阅读报告

NASNet

最后更新 2020-05-25 11:49 阅读 65

最后更新 2020-05-25 11:49

阅读 65

NASNet

《PC-DARTS: PARTIAL CHANNEL CONNECTIONS FOR MEMORY-EFFICIENT ARCHITECTURE SEARCH》阅读报告 一、           文献的动机 

本文是基于DARTS的改进。文章认为DARTS虽然相对之前的的NAS算法搜索效率有了大幅度的提升,但是其所需的内存开销和计算开销仍然是非常大的,本文就是针对这个问题提出了Partially-Connected DARTS,其思想简单说就是在搜索架构时指对特征的一部分通道进行操作,其余通道直接跳过边上的这个操作,然后再和经过操作的那些操作合并得到 新特征,再向下传递,每条边上都是这样,使得在整个搜索过程中内存开销大大减小。  

 二、           相关工作进展(在CIFAR10上的结果)

 根据搜索策略简单将NAS分为四类:基于强化学习的神经架构搜索、基于进化算法的神经架构搜索和基于梯度的神经架构搜索和基于其他方法的架构搜索。

architecturetest error(%)params(M)search cost(GPU days)search method
NASNet-A+cutout2.653.32000
RL
ENAS+cutout
2.89
4.6
0.5
RL
AmoebaNet-B+cutout
2.55±0.05
2.8
3150
evolution
Hierarchical
evolution
3.75±0.12
15.7
300
evolution
PNAS
3.41±0.09
3.2
255
SMBO
DARTS
2.76±0.09
3.3
1
gradient-based
GDAS
2.82
2.5
0.17
gradient-based
MiLeNAS
2.51±0.11
3.87
0.3
gradient-based
PCDARTS+cutout
2.57±0.07
3.6
0.1
gradient-based

 

 三、           文献工作的贡献 

1.     首次提出了通道采样(channel sampling)的技术。通道采样可以明显降低搜索时间开销(0.1GPU days)和内存开销,同时可以达到非常高的准确率(2.57±0.07)。 

2.     提出了边标准化方法(edge normalization),边界标准化用于确定指向一个结点的两条边,通过给每条边再增加一个系数,在确定边时将系数考虑在内实现。用这种方法可以改善搜索的稳定性。 

四、           文献的具体方法 

1.     部分通道连接 定义一个通道采样掩码Si,j (channel sampling mask),它会给选中的通道分配1,给未选中通道分配0。选中的通道会对应边上的操作处理,其余则直接跳过这些操作往后传递,相关公式如下:

1.jpg

 其中Si,j*xi和(1-Si,j)*xi分别表示被选中的通道和掩码通道。另外文章还设置了一个超参数K,表示选择通道数为总数的1/K,用K权衡搜索准确率和效率。 

2.png

2.     边界标准化 因为架构参数是迭代过程中用随机采样的通道优化的,并且采样的通道一直在随时间变换,因此由这些通道确定的最优连接可能并不稳定。为了缓解这个问题引入了边标准化,,即给每条边一个权值,表示为βi,j,,此时xj的计算就变成; 

3.png

在结构搜索完成后,边(i,j)之间的连接就由{}和βi,j共同确定,我们将这两个标准化系数相乘,即image.png,和DARTS一样选择最大权值的边作为最终的边。因为βi,j在训练过程中共享,所以网络结构对迭代过程的通道采样不再敏感,让结构搜索更加稳定。   

五、           文献方法是否存在可以改进的地方,是否可以与自己的研究方向结合 

我记得之前看过文章有用到过通道整合的方法,就是先衡量通道之间的相关性,然后再根据这些通道之间的相关性来整合得出新的通道,这样也可以减少通道,或许也可以解决不稳定的问题,不知道这样会不会比这种随机选择通道或固定选择前多少通道的方法更好,不过这种方法又增加了计算量,这也是个问题。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://www.flyai.com/article/503
讨论
500字
表情
每日参与讨论奖励 20FAI
发送
每日参与讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除