一、 tf.nn.dynamic_rnn的输出tf.nn.dynamic_rnn的输入参数如下tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterati ...
分类：
其他好文 时间：
2019-10-08 14:26:40
阅读次数：
89
tf.nn.rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0, state_is_tuple=True): n_hidden表示神经元的个数，forget_bias就是LSTM们的忘记系数，如果等于1，就是不会忘记任何信息。如果等于0，就都忘记。sta ...
分类：
其他好文 时间：
2019-10-08 14:03:03
阅读次数：
78
1.Self-Attention 之前的RNN输入是难以并行化的，我们下一个输入可能依赖前一个输出，只有知道了前面的输出才能计算后面的输出。 于是提出了 self-attention ，但是这时候 $b^{i}$ 能够并行化计算 论文地址：https://arxiv.org/pdf/1706.037 ...
分类：
其他好文 时间：
2019-10-01 18:56:51
阅读次数：
114
[TOC] 三大特征提取器 RNN、CNN和Transformer 简介 近年来，深度学习在各个NLP任务中都取得了SOTA结果。这一节，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。 本文部分参考张俊林老师的文章 "《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取 ...
分类：
其他好文 时间：
2019-09-30 22:06:02
阅读次数：
195
一、RNN 1.展开图 假设$x^{(t)}$为$t$时刻系统的外部驱动信号，则动态系统的状态为$h^{(t)}=f(h^{(t-1)},x^{(t)};\theta)$ 2.网络模式 2.1 零长度输入序列 2.2 单长度输入序列 2.3 多长度输入序列 3.输出序列长度 二、训练算法 1.BPT ...
分类：
其他好文 时间：
2019-09-30 17:02:38
阅读次数：
90
"来源" 预习阶段 OCR基础：CNN和RNN CNN预习视频：卷积神经网络与计算机视觉 知识点1： 卷积神经网络结构分析 知识点2： 过拟合与随机失活 知识点3： 卷积神经网络理解 知识点4： 典型网络结构详解 实战项目： 利用ResNet与inception解决一般图像分类问题套路 RNN预习视 ...
分类：
其他好文 时间：
2019-09-30 09:57:46
阅读次数：
113
1.Sequence Generation 1.1.引入 在循环神经网络（RNN）入门详细介绍一文中，我们简单介绍了Seq2Seq，我们在这里展开一下 一个句子是由 characters（字） 或 words（词） 组成的，中文的词可能是由数个字构成的。 如果要用训练RNN写句子的话，以 chara ...
分类：
其他好文 时间：
2019-09-27 23:02:19
阅读次数：
148
循环神经?络是为更好地处理时序信息而设计的。它引?状态变量来存储过去的信息，并?其与当前的输?共同决定当前的输出。循环神经?络常?于处理序列数据，如?段?字或声?、购物或观影的顺序，甚?是图像中的??或?列像素。因此，循环神经?络有着极为?泛的实际应?，如语?模型、?本分类、机器翻译、语?识别、图像 ...
分类：
其他好文 时间：
2019-09-26 23:11:41
阅读次数：
74
根据MatConvNet的官网介绍，MatConvNet是一个基于适用在Matlab的卷积神经网络(CNN)的工具包，支持CPU和GPU。 事实上，这个工具包并不仅仅支持CNN，同时也支持一些其它的一些网络如RNN, LSTM等。 这个工具包包含了一些深度学习的基本操作如卷积，隔空卷积，池化，非线性... ...
分类：
Web程序 时间：
2019-09-24 17:52:15
阅读次数：
160
1. 词带的简单解释： 每一个词出现了多少次，缺点是不知道顺序 2.seq2seq自然语言处理的核心 RNN: 一对一：输入一个，输出一个 一对多：输入一个，输出多个 多对一：输入多个，输出一个 多对多：输入多个，输出多个 原始数组： 改变一次的数组： 改变两次的数组： 改变三次的数组 结果输出： ...
分类：
编程语言 时间：
2019-09-19 22:06:59
阅读次数：
173
