递归神经网络（RNN）对于自然语言处理和其他序列任务非常有效，因为它们具有“记忆”功能。 它们可以一次读取一个输入x?t?（如单词），并且通过隐藏层激活从一个时间步传递到下一个时间步来记住一些信息/上下文，这允许单向RNN从过去获取信息来处理后面的输入，双向RNN可以从过去和未来中获取上下文。 有些 ...
分类：
其他好文 时间：
2018-12-27 18:57:41
阅读次数：
185
语音识别系统一直是深度学习生态系统中最发达的领域之一。当前一代语音识别模型主要依赖于用于声学和语言建模的递归神经网络（RNN）以及用于知识构建的特征提取管道等计算上比较昂贵的工件。虽然已经证明基于RNN的技术在语音识别任务中是有效的，但是它们需要大量的训练数据和计算能力，这通常会导致大多数组织无法使 ...
分类：
其他好文 时间：
2018-12-25 18:09:28
阅读次数：
226
0、开始调参之前先要做些什么？ 在开始调参之前，需要确定方向，所谓方向就是确定了之后，在调参过程中不再更改 1、根据任务需求，结合数据，确定网络结构。 例如对于RNN而言，你的数据是变长还是非变长；输入输出对应关系是many2one还是many2many等等，更多结构参考如下 非RNN的普通过程，从 ...
分类：
其他好文 时间：
2018-12-23 12:48:47
阅读次数：
641
RNNs and Language modeling in TensorFlow From feed-forward to Recurrent Neural Networks (RNNs) In the last few weeks, we've seen how feed-forward and ...
分类：
其他好文 时间：
2018-12-23 00:27:10
阅读次数：
144
#!/usr/bin/env pythonimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data",o ...
分类：
其他好文 时间：
2018-12-18 20:30:48
阅读次数：
130
一、背景 自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。 所以之后这类模型的 ...
分类：
其他好文 时间：
2018-12-13 16:21:43
阅读次数：
340
RNN RNN的发源： 1. 单层的神经网络（只有一个细胞，f(wx+b)，只有输入，没有输出和hidden state） 2. 多个神经细胞（增加细胞个数和hidden state，hidden是f(wx+b)，但是依然没有输出） 这里RNN同时和当前的输入有关系，并且是上一层的输出有关系。 3. ...
分类：
其他好文 时间：
2018-12-10 21:02:44
阅读次数：
933
代码（操纵全局变量） 输出的是10和2。 也就是xiaojie只被修改了一次。 这个时候，在_recurrence循环体中添加语句 会输出2。而且只输出一次。具体为什么，最后总结的时候再解释。 代码（操纵类成员变量）class RNN_Model(): 输出是： tf.while_loop操纵全局变 ...
分类：
其他好文 时间：
2018-12-07 11:50:50
阅读次数：
244
一、双向循环神经网络BRNN 采用BRNN原因： 双向RNN，即可以从过去的时间点获取记忆，又可以从未来的时间点获取信息。为什么要获取未来的信息呢？ 判断下面句子中Teddy是否是人名，如果只从前面两个词是无法得知Teddy是否是人名，如果能有后面的信息就很好判断了，这就需要用的双向循环神经网络。 ...
分类：
其他好文 时间：
2018-12-04 20:37:09
阅读次数：
750
一、RNN回顾 略去上面三层，即o,L,y，则RNN的模型可以简化成如下图的形式： 二、LSTM模型结构： 整体模型： 由于RNN梯度消失的问题，大牛们对于序列索引位置t的隐藏结构做了改进，可以说通过一些技巧让隐藏结构复杂了起来，来避免梯度消失的问题，这样的特殊RNN就是我们的LSTM。由于LSTM ...
分类：
其他好文 时间：
2018-12-04 20:06:36
阅读次数：
906
