http://blog.csdn.net/eddy_zheng/article/details/50763648 1、相关知识 从广义上来说，NN（或是更美的DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为，它们并没有可比性，或是根本没必要放在一起比较。在实际应用中，所谓的深 ...
分类：
其他好文 时间：
2017-10-25 21:43:11
阅读次数：
8584
近些年来，随着深度学习的崛起，RNN模型也变得非常热门。如果把RNN模型按照时间轴展开，它也类似其它的深度神经网络模型结构。因此，我们可以参照已有的方法训练RNN模型。 现在最流行的一种RNN模型是LSTM（长短期记忆）网络模型。 尽管我们可以借助Tensorflow、Torch、Theano等深度 ...
分类：
其他好文 时间：
2017-10-24 19:35:04
阅读次数：
325
LSTM入门学习 摘自：http://blog.csdn.net/hjimce/article/details/51234311 下面先给出LSTM的网络结构图： 看到网络结构图好像很复杂的样子，其实不然，LSTM的网络结构图无非是为了显示其高大上而已，这其实也是一个稍微比RNN难那么一丁点的算法。 ...
分类：
其他好文 时间：
2017-10-23 13:18:10
阅读次数：
3309
作者 | 张皓 引言 RNN是深度学习中用于处理时序数据的关键技术， 目前已在自然语言处理， 语音识别， 视频识别等领域取得重要突破， 然而梯度消失现象制约着RNN的实际应用。LSTM和GRU是两种目前广为使用的RNN变体，它们通过门控机制很大程度上缓解了RNN的梯度消失问题，但是它们的内部结构看上 ...
分类：
其他好文 时间：
2017-10-22 22:08:19
阅读次数：
200
往期RNN相关工程实践文章 『TensotFlow』基础RNN网络分类问题 『TensotFlow』RNN中文文本_上 『TensotFlow』基础RNN网络回归问题 『TensotFlow』RNN中文文本_下_暨研究生开学感想 背景 赶着这个周末把之前一直感兴趣的RNN文本生成实现了一下，实际效果 ...
分类：
其他好文 时间：
2017-10-22 21:29:30
阅读次数：
374
本文转自：http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html 90年代出现了一种类似RNN的更复杂的框架： ...
分类：
其他好文 时间：
2017-10-20 21:42:05
阅读次数：
221
本文转自：http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html 其中，带黑点的表示离散的向量表示，否则表示连续的向量空间。 3、使用深度RNN LSTM单元结构如下： 那时候的NN模型还是仅限于重新排序传统MT模型产生的结果，而最新的研究就是完全甩开了M ...
分类：
其他好文 时间：
2017-10-20 21:35:44
阅读次数：
525
本文转自:http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html 实现这个任务的朴素网络结构就是一个裸的RNN： 但是这个网络无法利用当前词语的下文辅助分类决策，解决方法是使用一些更复杂的RNN变种。 Bidirectional R ...
分类：
编程语言 时间：
2017-10-20 21:33:33
阅读次数：
172
BP算法是神经网络的基础，也是最重要的部分。由于误差反向传播的过程中，可能会出现梯度消失或者爆炸，所以需要调整损失函数。在LSTM中，通过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程中，需要进行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同样存在着这样的问题，所以 ...
分类：
编程语言 时间：
2017-10-19 16:32:34
阅读次数：
681
前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》，很是让人惊讶，这是一种全新的模型，与之前的经典的seq2seq模型改动较大，它完全摒弃了RNN或CNN神经网络，大大简化了模型的复杂度，而且效果还相当好。当然Attention模型可以单独使用，但这篇文章 ...
分类：
其他好文 时间：
2017-10-15 22:24:35
阅读次数：
316
