前馈神经网络-反向传播(Back Propagation)公式推导走读

时间：2017-04-15 12:28:05 阅读：257 评论：0 收藏：0 [点我收藏+]

构造：输入神经元个数等于输入向量维度，输出神经元个数等于输出向量维度。（x1=(1,2,3),则需要三个输入神经元）

一前向后传播

隐层：

输出层：

一般化

，向量表示

二反向传播

1计算梯度delta：均方误差，利用了sigmoid函数导数的有趣性。

输出层梯度： 技术分享

--> eg.

隐层梯度：

--> eg.

2更新权重：

eg输出层：

eg隐层：

备注反向传播的公式推导

0目标函数：

1梯度下降法优化目标函数技术分享

，怎么计算出误差对于每个权重的偏导数呢？

2netj是第j个神经元的加权输入作为传导，链式求导法则：技术分享

,。

区分输出层和隐藏层两种情况：

3.1 输出层：借用yj作为传导，netj和Ed都是与yj有关的函数，链式求导法则：技术分享

第一项：

第二项：

带入

，所以输出层梯度： 技术分享

3.2隐层：借用节点的所有直接下游节点的集合Downstream(j)，链式法则：aj

带入求得梯度

备注：

激活函数： sigmoid函数是一个非线性函数，导数有趣，可用自身表示。

参考

原文地址：http://www.cnblogs.com/rongyux/p/6713232.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行