码迷,mamicode.com
首页 > 其他好文 > 详细

经典的CNN网络模型概述

时间:2017-09-03 14:53:06      阅读:790      评论:0      收藏:0      [点我收藏+]

标签:1.2   raft   加速计   tac   top   误差   尺度   资源   解决   

接下来几天,将把自己最近读的关于图片分类的经典网络模型论文整理一遍。大概做个摘要。这些论文都是在imagenet上1.2 million数据训练出来的。

由于从这些预训练的网络训练的deep feature有良好的泛化能力,可以应用到其他不同的CV问题,而且比传统的hand-craft feature要好,所以得到广泛应用。

 

从AlexNet论文说起,ImageNet Classification with Deep Convolutional Neural Networks。

在ImageNet LSVRC-2010 2012表现突出

top-1误差率37.5%,以及top-5误差率17.0%

网络有6000万个参数和650,000个神经元

网络结构五个卷积层,以及某些卷积层后的池化层,以及最后的三个全连接层

引入正则化方法dropout

ReLU修正线性单元的引入,比tanh等要快的多

论文地址:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

 

接下来的NIN论文,Network In Network 

NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小

利用网络中的网络思想

论文地址:https://arxiv.org/pdf/1312.4400v3.pdf

 

VGG模型论文,VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

可以看成是加深版本的AlexNet. 都是conv layer + FC layer

论文地址:https://arxiv.org/pdf/1409.1556.pdf

 

GoogLeNet模型,也称inceptionV1 Going Deeper with Convolutions

受NIN启发,各种sub-network和inception结构的设计,通过精心设计的设计实现的,允许增加网络的深度和宽度,提高了网络内部计算资源的利用率。

将1x1,3x3,5x5的conv和3x3的pooling,stack在一起,一方面增加了网络的width,另一方面增加了网络对尺度的适应性。

论文地址:http://arxiv.org/abs/1409.4842

 

InceptionV2论文 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

改进V1,加入了BN层,减少了内部neuron的数据分布发生变化也就是文中说的Internal Covariate Shift,每一层的输入都服从N(0, 1)的高斯分布。

同是受到VGG启发用2个3x3的conv替代inception模块中的5x5,既降低了参数数量,提高训练速度。

论文地址: http://arxiv.org/abs/1502.03167

 

inceptionV3论文 Rethinking the Inception Architecture for Computer Vision

在v2的基础上改进是使用了分解(Factorization),将7x7分解成两个一维的卷积(1x7,7x1),将3x3分解成两个一维的卷积(1x3,3x1),加速计算的同时使得网络深度增加和网络的非线性更强。

网络输入从224x224变为了299x299,还设计了35x35/17x17/8x8等模块。

论文地址:http://arxiv.org/abs/1512.00567

 

inceptionV4论文 Inception-ResNet and the Impact of Residual Connections on Learning

Inception模块结合Residual Connection可以极大地加速训练,同时性能也有提升。

开源了Inception-ResNet v2网络模型后,经过优化精简Inception v4模型,相比Inception-ResNet v2网络模型性能差不多,但是网络复杂程度降低。

论文地址:http://arxiv.org/abs/1602.07261

 

Resnet模型论文,Deep Residual Learning for Image Recognition

引入残差,解决深层次的网络带来acc下降问题

论文地址:https://arxiv.org/pdf/1512.03385v1.pdf

 

经典的CNN网络模型概述

标签:1.2   raft   加速计   tac   top   误差   尺度   资源   解决   

原文地址:http://www.cnblogs.com/vincentqliu/p/7465150.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!