参考：An Introduction to Recurrent Neural Networks for Beginners 其中每一个彩色框都是一排神经元，相当于普通 NN 的一层，例如 X0 为 input 层，然后 h0 为 hidden 层，y0 为 output 层； 以此类推，X1...X ...
分类：
其他好文 时间：
2020-02-20 22:11:06
阅读次数：
66
注意力机制和Seq2Seq模型 "1.基本概念" "2.两种常用的attention层" "3.带注意力机制的Seq2Seq模型" "4.实验" 1. 基本概念 Attention 是一种通用的带权池化方法，输入由两部分构成：询问（query）和键值对（key value pairs）。$??_?? ...
分类：
其他好文 时间：
2020-02-16 16:15:19
阅读次数：
77
循环神经网络进阶 "1.GRU" "2.LSTM" "3.Deep RNN" "4.Bidirection NN" 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ?控循环神经?络：捕捉时间序列中时间步距离较?的依赖关系 1.1数学表达式 $$ R_{t} = σ(X_tW_{x ...
分类：
其他好文 时间：
2020-02-15 13:26:38
阅读次数：
78
循环神经网络 下图展示了如何基于循环神经网络实现语言模型。目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量𝐻，用𝐻𝑡表示𝐻在时间步𝑡的值。𝐻𝑡的计算基于𝑋𝑡和𝐻𝑡?1，可以认为𝐻𝑡记录了到当前字符为止的序列信息，利用𝐻𝑡对序列的下 ...
分类：
其他好文 时间：
2020-02-14 18:28:44
阅读次数：
101
文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 现有的工具可以很好地进行分词，spaCy和NLTK。 使用示例： ...
分类：
编程语言 时间：
2020-02-14 16:22:18
阅读次数：
81
先安装必须的库 tensorflow_gpu==1.15.0 numpy opencv_python github: https://github.com/bai-shang/crnn_ctc_ocr_tf 下载数据集： http://www.robots.ox.ac.uk/~vgg/data/te ...
分类：
其他好文 时间：
2020-02-12 22:38:05
阅读次数：
239
Reservoir Computing [toc] 背景： 1. 神经网络的一种弥补RNN缺点 2. 神经网 络方法在具体应用过程中也存在一些局限性 .比如前向 结构的神经网络一 般不适 合处理与 时序相 关的机 器学 习问题 , 而在实际应用中出 现的问 题往往 与时 间相关 , 比如预测 、系统 ...
分类：
其他好文 时间：
2020-02-10 18:31:55
阅读次数：
220
Pytorch 知识点 1. RNN 2. AutoEncoder 3. DQN 4. DQN强化学习 5. 生成对抗网络 视频 1. 莫烦Pytorch 2. 李宏毅 Lecture15 ~ Lecture20 剑指offer 每天三道 要在考试前结束啊... 1. leetcode实现 / xc ...
分类：
其他好文 时间：
2020-02-02 23:44:44
阅读次数：
80
课程一 - 神经网络和深度学习 第一周 - 深度学习简介 第 1 题 “人工智能是新电力”这个比喻指的是什么？ A.人工智能为我们的家庭和办公室的个人设备供电，类似于电力。 B.通过“智能电网”，人工智能正在传递新一波的电力。 C.人工智能在计算机上运行，因此由电力驱动，但它让计算机做以前不可能做的 ...
分类：
其他好文 时间：
2020-01-31 21:07:25
阅读次数：
90
PROBLEM: anomaly detection input: multivariate time series to RNN > capture the normal patterns > reconstruct input data by the representations > use ...
分类：
Web程序 时间：
2020-01-30 10:02:25
阅读次数：
143
