目录 定义网络 梯度反向传播 梯度更新 面试时的变相问法 参考资料 BPTT(back-propagation through time)算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理时间序列数据，所以要基于时间反向传播，故叫随时间反向传播。 BPTT算法在吴恩达和李宏毅等教授 ...
分类：
其他好文 时间：
2020-07-09 22:05:20
阅读次数：
123
目录 单层神经网络 RNN原理 经典RNN结构 N VS 1 RNN结构 1 VS N RNN结构 Pytorch文本分类实践 参考资料 RNN 的英文全称是 Recurrent Neural Networks ，即循环神经网络，他是一种对序列型数据进行建模的深度模型。在学习之前，先来复习基本的单层 ...
分类：
其他好文 时间：
2020-07-05 00:51:47
阅读次数：
318
1.循环神经网络的前向传播 1.1RNN单元 向量化m个样本，x<t>的维度为(nx,m)，a<t>的维度为(na,m) 1 import numpy as np 2 from rnn_utils import * 3 4 #单步前向传播 5 def rnn_cell_forward(xt, a_p ...
分类：
其他好文 时间：
2020-07-03 00:58:05
阅读次数：
63
先来看一个例子： 之前的全连接神经网络的结构：它的隐藏层的值只取决于输入的 x: 该结构对于上面问题只能做如下预测： 比如：可以预测：花开时——>跑得快 由此可见：通过简单的神经网络（单层的前馈神经网络）无法解决该三个问题，需要用关联的神经网络来解决。 RNN：Motivation:需要前馈信息。 ...
分类：
编程语言 时间：
2020-07-01 12:45:41
阅读次数：
59
Python 程序员深度学习的“四大名著”： 这四本书着实很不错！我们都知道现在机器学习、深度学习的资料太多了，面对海量资源，往往陷入到“无从下手”的困惑出境。而且并非所有的书籍都是优质资源，浪费大量的时间是得不偿失的。 给大家推荐这几本好书并做简单介绍： 1、《Deep Learning with ...
分类：
编程语言 时间：
2020-06-27 20:04:15
阅读次数：
132
import hanlp tokenizer = hanlp.load('PKU_NAME_MERGED_SIX_MONTHS_CONVSEG') tagger = hanlp.load(hanlp.pretrained.pos.CTB5_POS_RNN_FASTTEXT_ZH) syntactic ...
分类：
其他好文 时间：
2020-06-25 23:25:25
阅读次数：
71
梯度消失的原因： 在多层网络中，影响梯度大小的因素主要有两个：权重和激活函数的偏导。深层的梯度是多个激活函数偏导乘积的形式来计算，如果这些激活函数的偏导比较小（小于1）或者为0，那么梯度随时间很容易vanishing；相反，如果这些激活函数的偏导比较大（大于1），那么梯度很有可能就会explodin ...
分类：
其他好文 时间：
2020-06-25 17:19:23
阅读次数：
50
目录 textRNN简介 textRNN网络结构 总结 一句话简介：textRNN指的是利用RNN循环神经网络解决文本分类问题，通常使用LSTM和GRU这种变形的RNN，而且使用双向，两层架构居多。 一、textRNN简介 这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文... ...
分类：
其他好文 时间：
2020-06-17 01:58:03
阅读次数：
72
基于层次过滤的文本生成 引言 目前文本生成最常用的算法基于 fully autoregressive 模型，比如 RNN 和 transformer。在 fully autoregressive 模型中，生成下一个词的概率取决于之前所有的词。 给定一个 fully autoregressive 模型 ...
分类：
其他好文 时间：
2020-06-14 16:51:20
阅读次数：
53
虽然RNN可能会有加速，但DeepBench和NVIDIA目前仅支持单精度RNN推理。 NVIDIA Caffe2测试之ResNet50和ImageNet 虽然内核和深度学习数学运算可能很有用，但实际应用中是使用真实数据集进行训练的。使用标准的ILSVRC 2012图片集，在ImageNet上通过R ...
分类：
其他好文 时间：
2020-05-31 16:20:58
阅读次数：
68
