神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。（扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机 ...
分类：
其他好文 时间：
2019-06-26 10:47:51
阅读次数：
103
RNN 一般神经网络隐层的计算是h=g(w * x)，其中g是激活函数，相比于一般神经网络，RNN需要考虑之前序列的信息，因此它的隐藏h的计算除了当前输入还要考虑上一个状态的隐藏，h=g(w*x+w'*h')，其中h'是上一次计算的隐层，可见信息传递是通过隐层完成的。 LSTM 有上面普通RNN可以 ...
分类：
编程语言 时间：
2019-06-25 13:10:00
阅读次数：
129
CNN用于文本分类本就是一个不完美的解决方案，因为CNN要求输入都是一定长度的，而对于文本分类问题，文本序列是不定长的，RNN可以完美解决序列不定长问题， 因为RNN不要求输入是一定长度的。那么对于CNN用于解决文本分类问题而言，可以判断文本的长度范围，例如如果大多数文本长度在100以下，极少数在1 ...
分类：
其他好文 时间：
2019-06-19 16:26:11
阅读次数：
125
一、问题：如何利用神经网络处理序列问题（语音、文本）？ 在MNIST手写数字识别中，输入一张图片，得到一个结果，输入另一张图片，得到另一个结果，输入的样本是相互独立的，输出的结果之间也不会相互影响。也就是说，这时处理的数据是IID（独立同分布）数据，但序列类的数据却不满足IID特征，所以RNN出场了 ...
分类：
其他好文 时间：
2019-06-18 21:21:37
阅读次数：
143
第一部分：从RNN到LSTM 1、什么是RNN RNN全称循环神经网络（Recurrent Neural Networks），是用来处理序列数据的。在传统的神经网络模型中，从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多关于时间序列的问题却无 ...
分类：
其他好文 时间：
2019-06-15 20:42:48
阅读次数：
213
Amazon's distribution network consists of fulfillment centers located in N cities. Some of the cities are directly connected to each other by bidirect ...
分类：
其他好文 时间：
2019-06-15 10:04:57
阅读次数：
145
本教程在IMDB大型影评数据集 上训练一个循环神经网络进行情感分类。 导入matplotlib并创建一个辅助函数来绘制图形 1. 设置输入管道 IMDB大型电影影评数据集是一个二元分类数据集，所有评论都有正面或负面的情绪标签。 使用TFDS下载数据集，数据集附带一个内置的子字标记器 由于这是一个子字 ...
分类：
其他好文 时间：
2019-06-05 22:20:39
阅读次数：
378
● 深度学习了解多少，有看过底层代码吗？caffe,tf? ● 除了GMM-HMM，你了解深度学习在语音识别中的应用吗？ 参考回答： 讲了我用的过DNN-HMM，以及与GMM-HMM的联系与区别；然后RNN+CTC，这里我只是了解，大概讲了一下CTC损失的原理；然后提了一下CNN+LSTM。 ● 用 ...
分类：
编程语言 时间：
2019-06-03 21:52:29
阅读次数：
145
Outline 1 GRU概述 2 前向传播 3 训练过程 1 GRU概述 GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 在LSTM中引入了三个门函数： ...
分类：
其他好文 时间：
2019-05-29 11:55:21
阅读次数：
804
一、Attention与其他模型 1、LSTM、RNN的缺点：输入的Memory长度不能太长，否则参数会很多。 采用attention可以输入长Memory，参数不会变多。 2、Sequence to Sequence Learning : 输入和输出的句子长度可以不一样，常用来做句子翻译。 比如： ...
分类：
其他好文 时间：
2019-05-27 00:49:46
阅读次数：
164
