本文首先对人工神经网络的发展历程进行了梳理，进一步解析了人工神经网络设计中的基本元素，最后着重对前馈型以及反馈型网络的前向传递以及后向传递进行了推导。其中前馈型网络包括经典的MLPs以及CNNs，反馈性网络则涵盖了RNNs以及LSTM。
分类：
其他好文 时间：
2018-06-09 23:11:52
阅读次数：
171
基于因子分解的隐层变量学习，应用于短语句语种识别模型的自适应 LFVs（Language Feature Vectors，语种特征向量）[11]，与BSVs（Bottleneck Speaker Vectors）类似，即瓶颈特征 3.1. 神经元调制 由于说话人特性的变化反映在语音信号中，因此将表示... ...
分类：
其他好文 时间：
2018-06-07 21:59:16
阅读次数：
137
LSTM vanishing gradient problems ...
分类：
其他好文 时间：
2018-06-05 23:18:04
阅读次数：
258
一、简介 循环神经网络（recurrent neural network，RNN），是一类专门用于处理序列数据（时间序列、文本语句、语音等）的神经网络，尤其是可以处理可变长度的序列；在与传统的时间序列分析进行比较的过程之中，RNN因为其梯度弥散等问题对长序列表现得不是很好，而据此提出的一系列变种则展 ...
分类：
其他好文 时间：
2018-06-03 22:19:17
阅读次数：
174
请简述神经网络的发展史sigmoid会饱和，造成梯度消失。于是有了ReLU。ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。太深了，梯度传不下去，于是有了highway。干脆连highway的参数都不要，直接 ...
分类：
Web程序 时间：
2018-06-03 19:27:33
阅读次数：
1193
时间序列深度学习：状态 LSTM 模型预测太阳黑子 本文翻译自《Time Series Deep Learning: Forecasting Sunspots With Keras Stateful Lstm In R》 "原文链接" 由于数据科学机器学习和深度学习的发展，时间序列预测在预测准确性方 ...
分类：
其他好文 时间：
2018-06-03 01:04:34
阅读次数：
1399
GRU模型 LSTM的模型，LSTM的重复网络模块的结构很复杂，它实现了三个门计算，即遗忘门、输入门和输出门。 而GRU模型如下，它只有两个门了，分别为更新门和重置门，即图中的Zt和Rt。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用 ...
分类：
其他好文 时间：
2018-05-30 15:08:19
阅读次数：
1357
解决的问题 自然语言推理，判断a是否可以推理出b。简单讲就是判断2个句子ab是否有相同的含义。 方法 我们的自然语言推理网络由以下部分组成：输入编码（Input Encoding ），局部推理模型（Local Inference Modeling ），和推断合成（inference composit ...
分类：
编程语言 时间：
2018-05-28 16:49:19
阅读次数：
973
用RNN做文本生成 举个小小的例子，来看看LSTM是怎么玩的 我们这里用温斯顿丘吉尔的人物传记作为我们的学习语料。 (各种中文语料可以自行网上查找， 英文的小说语料可以从古登堡计划网站下载txt平文本：https://www.gutenberg.org/wiki/Category:Bookshelf ...
分类：
其他好文 时间：
2018-05-28 11:39:32
阅读次数：
204
本章介绍循环神经网络（Recurrent Neural Networks）的一些基本概念，面临的主要问题和解决方案（LSTM、GRU cells），以及如何使用TensorFlow实现RNN。最后窥探了机器翻译系统的架构。由于本章过长，分为两个部分，这是第二部分。 ...
分类：
Web程序 时间：
2018-05-26 18:51:56
阅读次数：
301
