【深度学习】RNN | GRU | LSTM

标签：结构图   math   ima   分享   结构   bubuko   bsp   sig   image   

目录：

1、RNN

2、GRU

3、LSTM

一、RNN

1、RNN结构图如下所示：

其中：

$a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$

$h^{t} = f(a^{t})$, f 是激励函数，sigmoid或者tanh

$\hat{y}^{t} = Uh^{t}$

2、RNN中的梯度消失与梯度膨胀

二、GRU

三、LSTM

【深度学习】RNN | GRU | LSTM

标签：结构图   math   ima   分享   结构   bubuko   bsp   sig   image   

原文地址：https://www.cnblogs.com/zhaopAC/p/10240968.html