双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN)，Schuster、Paliwal，1997年首次提出，和LSTM同年。Bi-RNN，增加RNN可利用信息。普通MLP，数据长度有限制。RNN，可以处理不固定长度时序数据，无法利用历史输入 ...
分类：
其他好文 时间：
2019-01-19 14:25:59
阅读次数：
242
1.git git版本控制，设计思想 常规指令 2.linux Linux 不常用指令的学习，三剑客指令的学习 3.机器学习 感知机，朴素贝叶斯，knn，svm，adaboost 4.深度学习 RNN , LSTM ,GAN 正向传播 5.detection RCNN Fast-RCNN Faste ...
分类：
其他好文 时间：
2019-01-18 15:03:25
阅读次数：
223
首先介绍一下Word2Vec Word2Vec：从原始语料中学习字词空间向量的预测模型。主要分为CBOW（Continue Bags of Words）连续词袋模型和Skip-Gram两种模式 CBOW：从原始语句（中国的首都是___）推测目标字词（北京）。Skip-Gram正好相反，从目标词反推原 ...
分类：
其他好文 时间：
2019-01-14 14:32:19
阅读次数：
191
目录： 1、RNN 2、GRU 3、LSTM 一、RNN 1、RNN结构图如下所示： 其中： $a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$ $h^{t} = f(a^{t})$, f 是激励函数，si ...
分类：
其他好文 时间：
2019-01-08 21:16:02
阅读次数：
175
深度学习 深度学习 定义， 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。 循环神经网络RNN 简答题 2. 深度学习的算法步骤 1定义很多函数 2训练函数 3 ...
分类：
其他好文 时间：
2019-01-08 00:13:10
阅读次数：
261
在DNN中，当前输出层的值只和当前输入值有关系。如果当前输出值不仅依赖当前输入值，也依赖于前面时刻的输入值，那么DNN就不适用了。因此也就有了RNN。 一、RNN结构 其中Xt是t时刻的输入，S是隐藏层。Ot是t时刻的输出。隐藏层St是由前t-1个时刻的隐藏层叠加而成的。把St也可以理解为前t时刻x ...
分类：
其他好文 时间：
2019-01-07 00:22:05
阅读次数：
194
前言 Transfomer是一种encoder-decoder模型，在机器翻译领域主要就是通过encoder-decoder即seq2seq，将源语言(x1, x2 ... xn) 通过编码，再解码的方式映射成（y1, y2 ... ym), 之前的做法是用RNN进行encode-decoder,但 ...
分类：
其他好文 时间：
2018-12-31 15:46:08
阅读次数：
183
import numpy as np import tensorflow as tf from tensorflow.contrib import rnn import matplotlib.pyplot as plt from tensorflow.contrib.learn.python.lea... ...
分类：
其他好文 时间：
2018-12-31 11:54:50
阅读次数：
260
1.CNN网络中的池化方式选择 池化方式有两种：1）最大池化；2）平均池化 在实验中我发现，最大池化要比平均池化慢很多，效果也不如平均池化好。所以，池化的方式我们尽量选择平均池化。 2.CNN卷积核的设计 卷积的大小，遵守奇数设计原则，如【1,3,5,7】 3.CNN和RNN网络输出到全连接层数据s ...
分类：
其他好文 时间：
2018-12-28 10:46:02
阅读次数：
412
一、RNN 全称为Recurrent Neural Network,意为循环神经网络，用于处理序列数据。 序列数据是指在不同时间点上收集到的数据，反映了某一事物、现象等随时间的变化状态或程度。即数据之间有联系。 RNN的特点：1，,层间神经元也有连接（主要为隐层）；2，共享参数 其结构如上图所示，数 ...
分类：
其他好文 时间：
2018-12-27 21:22:57
阅读次数：
164
