码迷,mamicode.com
首页 > Web开发 > 详细

论文笔记《ImageNet Classification with Deep Convolutional Neural Network》

时间:2016-07-21 21:49:07      阅读:215      评论:0      收藏:0      [点我收藏+]

标签:

一、摘要

  了解CNN必读的一篇论文,有些东西还是可以了解的。

二、结构

 1、 Relu的好处: 1、在训练时间上,比tanh和sigmod快,而且BP的时候求导也很容易

                    2、因为是非饱和函数,所以基本不会出现梯度消失的情况

 Relu只要控制好learing rate,可以说是完胜之前的激活函数,也因此可以帮助我们训练更深层次的网络。

现在对Relu的进一步增强还有研究,有兴趣可以了解。

 2、GPU并行计算在当时是个很好思路,不过作者的trick就有点...虽然说是通过cross-validation得到的结论,但我觉得对以后的研究,意义不是很大

 3、局部归一化应该也是一个trick,暂时没接触过..以后再看看

 4、overlapping pooling也是在后来没怎么听说过的..

三、减少过拟合

 1、数据增加

  (1)图像变换

    这是一个非常好,也非常常用且非常实用的方法...

   原始图像为一个大图a,想把一短边缩小到256维得到b,然后在b的中心取256*256的正方形图片得到c,然后在c上随机提取224*224的小图片作为训练样本,然后在结合图像水平反转来增加样本达到数据增益。这种增益方法是样本增加了2048倍,允许我们运行更大的网络。

  (2)调整RGB值

    具体思路是:对三个channel分别做PCA分析,得到主成成分后,在相应的维度上做一些jittter,增加或减少一些服从高斯分布,标准差为0.1的随机变量,这样可以得到一些和原来相似且有意义的数据。

2、Dropout

  这也是一个相当牛逼的技术,通过对神经元概率话的激活,既可以达到多个模型combine的效果(因为每次的结构都不同,但又共享参数),有不用花太多的时间去训练多个网络。

 

四、思考

 有几个问题还是可以拎出来想想的。

 1,两个GPU基本是一样的环境,但训练出来的卷积核却完全不同,why?

 2.还是网络结构的问题,为什么这样就可以...

 

五、总结

 说实话,看完这篇论文并没有学到太多,不是这篇文章不牛逼,而是太牛逼了,以至于后面大多数CNN方面的研究都用到了里面的理论,所以很多都有种似曾相识的感觉,但作为CNN的翻身之作,确实值得一读!

论文笔记《ImageNet Classification with Deep Convolutional Neural Network》

标签:

原文地址:http://www.cnblogs.com/daihengchen/p/5693205.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!