码迷,mamicode.com
首页 > 其他好文 > 详细

007-卷积神经网络-前向传播-反向传播

时间:2018-10-17 16:53:16      阅读:489      评论:0      收藏:0      [点我收藏+]

标签:alt   绿色   lin   style   ima   size   一个   红色   高度   

前向传播:

技术分享图片

前向传播就是求特征图的过程

通常x和w有四个维度[编号,深度,高度,宽度]

 

反向传播:

先来复习一下反向传播的知识:

反向传播回来的是梯度,也就是偏导数

反向传播力有一个链式法则:对于反向传播(反着看),本层要往后面一层穿的的偏导=本层自身的偏导×上一层传过来的偏导

红色代表反向传播,绿色代表正向传播

技术分享图片

 

out = wx+b

out对w求倒数:(wx+b)’=x

那么dw = dout·x

那么换到矩阵之后我的反向传播就可以是dout与x的内积

对于卷积层的反向传播:

技术分享图片

每一个dout都对应一个filter上图只是对于filter 1所做的反向传播

同理就有filter2的反向传播

 

对于pooling层的反向传播:

技术分享图片

 

技术分享图片

 

技术分享图片

技术分享图片

 

007-卷积神经网络-前向传播-反向传播

标签:alt   绿色   lin   style   ima   size   一个   红色   高度   

原文地址:https://www.cnblogs.com/Mjerry/p/9804721.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!