1. 导读 本节内容介绍普通RNN的弊端，从而引入各种变体RNN，主要讲述GRU与LSTM的工作原理。 2. 普通RNN的弊端 在NLP中，句子内部以及句子之间可能存在很长的依赖关系（long term dependecies），最前边的单词对句子后面的单词产生影响。但是普通RNN不擅长捕获这种长期 ...
分类：
其他好文 时间：
2018-02-19 15:16:50
阅读次数：
199
导读 本节内容介绍如何使用RNN训练语言模型，并生成新的文本序列。 语言模型（Language model） 通过语言模型，我们可以计算某个特定句子出现的概率是多少，或者说该句子属于真实句子的概率是多少。正式点讲，一个序列模型模拟了任意特定单词序列的概率。 Language modelling wi ...
分类：
其他好文 时间：
2018-02-17 20:47:19
阅读次数：
364
RNN 首先思考这样一个问题：在处理序列学习问题时，为什么不使用标准的神经网络（建立多个隐藏层得到最终的输出）解决，而是提出了RNN这一新概念？ 标准神经网络如下图所示： 标准神经网络在解决序列问题时，存在两个问题： 难以解决每个训练样例子输入输出长度不同的情况，因为序列的长度代表着输入层、输出层的 ...
分类：
其他好文 时间：
2018-02-17 15:34:14
阅读次数：
602
#https://www.jianshu.com/p/9efae7a20493 原文此处有误： 用 Flatten 把卷出来的三维的层，抹平成二维的。 应为：Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。 ...
分类：
其他好文 时间：
2018-02-06 22:59:57
阅读次数：
203
1. 前言 隐马尔科夫HMM模型是一类重要的机器学习方法，其主要用于序列数据的分析，广泛应用于语音识别、文本翻译、序列预测、中文分词等多个领域。虽然近年来，由于RNN等深度学习方法的发展，HMM模型逐渐变得不怎么流行了，但并不意味着完全退出应用领域，甚至在一些轻量级的任务中仍有应用。本系列博客将详细 ...
分类：
编程语言 时间：
2018-02-03 15:53:33
阅读次数：
975
机器不学习 jqbxx.com-关注机器学习,深度学习,自然语言处理,大数据,个性化推荐,搜索算法,知识图谱 问题1：什么是循环神经网络RNN？ 如下图，如何能让Alpha蚂蚁识别下图的句子（是让它识别句子理解句子而非文字），并且填入正确的答案呢？ 如果用以往的方式，Alpha蚂蚁只能看到是这个字以 ...
分类：
其他好文 时间：
2018-02-01 18:28:05
阅读次数：
147
关于LSTM及RNN的基础知识以及相关的数学推导这篇博客介绍的很好，其中还包括神经网络的其他基础内容。 RNN循环神经网络：https://www.zybuluo.com/hanbingtao/note/541458 LSTM长短时记忆网络：https://zybuluo.com/hanbingta ...
分类：
其他好文 时间：
2018-01-31 14:39:48
阅读次数：
274
import tensorflow as tf # 22 scope (name_scope/variable_scope) from __future__ import print_function class TrainConfig: batch_size = 20 time_steps = 2... ...
分类：
其他好文 时间：
2018-01-31 01:04:37
阅读次数：
5496
# tensorflow中的两种定义scope(命名变量)的方式tf.get_variable和tf.Variable。Tensorflow当中有两种途径生成变量 variable import tensorflow as tf #T1法 tf.name_scope() with tf.name_s... ...
分类：
其他好文 时间：
2018-01-30 22:58:17
阅读次数：
188
import tensorflow as tf import numpy as np import matplotlib.pyplot as plt BATCH_START = 0 TIME_STEPS = 20 BATCH_SIZE = 50 INPUT_SIZE = 1 OUTPUT_SIZE ... ...
分类：
其他好文 时间：
2018-01-27 17:15:40
阅读次数：
351
