RNN RNN（Recurrent Neural Networks,循环神经网络）不仅会学习当前时刻的信息，也会依赖之前的序列信息。由于其特殊的网络模型结构解决了信息保存的问题。所以RNN对处理时间序列和语言文本序列问题有独特的优势。递归神经网络都具有一连串重复神经网络模块的形式。在标准的RNNs中 ...
分类：
其他好文 时间：
2018-06-16 16:17:30
阅读次数：
234
这篇博文不介绍基础的RNN理论知识,只是初步探索如何使用Tensorflow,之后会用笔推导RNN的公式和理论,现在时间紧迫所以先使用为主~~ 没有训练结束,使用的GTX1060训练了大概8分钟,如果训练结束感觉应该可以达到97%左右 因为是单层网络,深度不够,也没处理数据~~ 这只是简单了解RNN ...
分类：
其他好文 时间：
2018-06-16 10:36:11
阅读次数：
220
一 、数据绑定 以上代码，定义了2个输入框和两个p标签用来显示内容。先把body 标签中的 ng-app=" " 和 ng-init="userName='tom'" 给去掉，打开页面，发现姓名后面直接显示表达式了， 表达式原样输出说明 js 语法是有问题的，而angularjs也引入了，出现这个问 ...
分类：
Web程序 时间：
2018-06-14 01:05:51
阅读次数：
237
本文首先对人工神经网络的发展历程进行了梳理，进一步解析了人工神经网络设计中的基本元素，最后着重对前馈型以及反馈型网络的前向传递以及后向传递进行了推导。其中前馈型网络包括经典的MLPs以及CNNs，反馈性网络则涵盖了RNNs以及LSTM。
分类：
其他好文 时间：
2018-06-09 23:11:52
阅读次数：
171
随着科学技术的发展以及硬件计算能力的大幅提升，人工智能已经从几十年的幕后工作一下子跃入人们眼帘。人工智能的背后源自于大数据、高性能的硬件与优秀的算法的支持。2016年，深度学习已成为Google搜索的热词，随着最近一两年的围棋人机大战中，阿法狗完胜世界冠军后，人们感觉到再也无法抵挡住AI的车轮的快速 ...
分类：
其他好文 时间：
2018-06-07 17:46:04
阅读次数：
154
一、简介 循环神经网络（recurrent neural network，RNN），是一类专门用于处理序列数据（时间序列、文本语句、语音等）的神经网络，尤其是可以处理可变长度的序列；在与传统的时间序列分析进行比较的过程之中，RNN因为其梯度弥散等问题对长序列表现得不是很好，而据此提出的一系列变种则展 ...
分类：
其他好文 时间：
2018-06-03 22:19:17
阅读次数：
174
请简述神经网络的发展史sigmoid会饱和，造成梯度消失。于是有了ReLU。ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。太深了，梯度传不下去，于是有了highway。干脆连highway的参数都不要，直接 ...
分类：
Web程序 时间：
2018-06-03 19:27:33
阅读次数：
1193
在RNN(1)中，我们将带有Reccurent Connection的node依照时间维度展开成了如下的形式： 在每个时刻t=0,1,2,3,...，神经网络的输出都会产生error：E0,E1,E2,E3,....。同Feedforward Neural Network一样，RNN也使用Backp ...
分类：
Web程序 时间：
2018-06-03 14:19:47
阅读次数：
227
用RNN做文本生成 举个小小的例子，来看看LSTM是怎么玩的 我们这里用温斯顿丘吉尔的人物传记作为我们的学习语料。 (各种中文语料可以自行网上查找， 英文的小说语料可以从古登堡计划网站下载txt平文本：https://www.gutenberg.org/wiki/Category:Bookshelf ...
分类：
其他好文 时间：
2018-05-28 11:39:32
阅读次数：
204
本章介绍循环神经网络（Recurrent Neural Networks）的一些基本概念，面临的主要问题和解决方案（LSTM、GRU cells），以及如何使用TensorFlow实现RNN。最后窥探了机器翻译系统的架构。由于本章过长，分为两个部分，这是第二部分。 ...
分类：
Web程序 时间：
2018-05-26 18:51:56
阅读次数：
301
