码迷,mamicode.com
首页 > 编程语言 > 详细

卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析

时间:2016-04-01 18:20:24      阅读:344      评论:0      收藏:0      [点我收藏+]

标签:

最近在学习卷积神经网络,哎,真的是一头雾水!最后决定从阅读CNN程序下手!

程序来源于GitHub的DeepLearnToolbox

由于确实缺乏理论基础,所以,先从程序的数据流入手,虽然对高手来讲,这样有点太小儿科了,但觉得对于个人理解CNN网络的结构和数据流走向有较大帮助!

 

下面,将要分析CNN的前向传播算法cnnff.m

 

本程序所用的神经网络的结构如下图的结构体net所示

结构体net 技术分享

包含5层

技术分享

每层的结构

技术分享

技术分享

这五层的结构如下:

技术分享

每层的结构分别如下:

技术分享

 

为了方便自己理解,下面,分别对每一层的输入、输出、传播分解介绍

只考虑某一批词的样本

注:所有样本集被分为numbatches批,每一批含有batchsize个样本,对于本程序而言,共有50个样本

 

 1 第一层到第五层的数据传递

 

技术分享

2 第1层到第2层的前面传播(l=2):卷积操作

技术分享

利用循环,分别计算第二层每个map的输出:net.layers{2}.a{j} (j=1,..,6)(这里的l=2

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

1初始化一个三维矩阵z

  • z的大小为24*24*50,即第二层中每个map的尺寸
  • z存放的是:第二层中每个map的输入

2)计算第2层第j个map的输入

  • 即第1层的所有输出(i=1,…, inputmaps)对第2层的第j个输入的贡献的累加
  • z的计算方法是:

    利用第二层的第jmap的卷积核net.layers{2}.k{i}{j}分别对第一层中的第imap进行卷积运算(i=1,…, net.layers{1}.outputmaps),并将得到的所有卷积结果相加

    技术分享

  • 2层的inputmaps=1
  • net.layers{l}.k{i}{j}进行解释:

net.layers{l}.k:是一个元胞,有两层

net.layers{l}.k{i}:第l-1层的第imap到第l层的所有maps的卷积核

net.layers{l}.k{i}{j}:第l-1层的第imap到第l层的第jmap的卷积核

下面是一个例子:

第四层的卷积核元胞

技术分享

3层的第1map到第4层的所有maps的卷积核(12)个

技术分享

3层的第1map到第四层的第1maps的卷积核

技术分享

3计算第2层的第jmap的输出

  • 第二层的第jmap的输出为net.layers{2}.a{j}=sigm(z+net.layers{l}.b{j})

    即第二层的第jmap的输入z+map的偏执项后,求sigm函数

4对第1层的map进行卷积操作的图例

 

技术分享

3 第2层到第3层(l=3):降采样操作

技术分享 

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

(1)对第二层的第jmap进行卷积运算,得到z

  • 利用的卷积核(大小为scale*scale)如下:

    技术分享

 

(2)对z进行降采样,得到第三层的第jmap的输出

(3)如上所示的降采样过程示例如下图所示

 

技术分享

4 第3层到第4层的前面传播(l=4):卷积操作

 

利用循环,分别计算第四层每个map的输出:net.layers{4}.a{j} (j=1,..,12)(这里的l=4

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

1初始化一个三维矩阵z

  • z的大小为24*24*50,即第二层中每个map的尺寸
  • z存放的是:第四层中每个map的输入

2计算第4层的第j个map的输入

  • 即第3层的所有输出(i=1,…, inputmaps)对第4层的第j个输入的贡献的累加
  • z的计算方法是:

    利用第4层的第jmap的卷积核net.layers{4}.k{i}{j}分别对第3层中的第imap进行卷积运算(i=1,…, net.layers{1}.outputmaps),并将得到的所有卷积结果相加

    技术分享

  • 4层的inputmaps=12

3计算第4层的第jmap的输出

  • 4层的第jmap的输出为net.layers{4}.a{j}=sigm(z+net.layers{4}.b{j})

    即第4层的第jmap的输入z+map的偏执项后,求sigm函数

4对第3层的map进行卷积操作的图例

技术分享

5 第4层到第5层 (l=5):降采样

技术分享

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

(1)对第四层的第jmap进行卷积运算,得到z

  • 利用的卷积核(大小为scale*scale)如下:

    技术分享

 

(2)对z进行降采样,得到第五层的第jmap的输出

 

 

(3)如上所示的降采样过程示例如下图所示

 

技术分享

6 将第五层的map输出向量化

技术分享

技术分享

(1)初始化net网络中的fv(其实是新加入fv,原来输入的net中没有fv
(2)分别对第五层的每个输出map进行向量化(一共用numel(net.layers{n}.a个输出map)

(3)对于第五层的第j个输出map

  • 得到第五层第j个输出map的尺寸,应该是三维的,得到的三维尺寸向量存入sa
  • 将第五层的第j个输出map的矩阵转化为一个sa(1)*sa(2)sa(3)大小的矩阵
  • 并将该得到的转化矩阵接入到第五层的第j-1个输出map之后
  • 关于矩阵fv的结构如上图所示
7 第五层向量化后传入普通神经网

技术分享

技术分享

技术分享

第五层的向量化输出传入一个普通的神经网络,只有输入层和输出层,输入层含有192个神经元,输出层含有10个神经元,输入到输出层的权值矩阵存放在矩阵net.ffW中,在该权值矩阵作用下,该简单神经网络的输出即为最终的整个网络的输出,输出结果存放在net.o矩阵中,该矩阵大小为10*50,每一列分别表示每个输入样本得到的相应的输出

卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析

标签:

原文地址:http://blog.csdn.net/tina_ttl/article/details/51034767

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!