RNN CNN 人老珠黄。全面拥抱Transformer。 对于自然语言处理领域来说，2018 年无疑是个收获颇丰的年头， 就是Bert 模型了。 一个是 Bert 这种两阶段的模式（预训练 + Finetuning） 必将成为 NLP 领域研究和工业应用的流行方法； 第二个是从 NLP 领域的特征 ...
分类：
其他好文 时间：
2019-08-11 12:53:10
阅读次数：
72
隐马尔科夫模型（Hidden Markov Model，以下简称HMM）作为语音信号的一种统计模型，在语音处理的各个领域中获得了广泛的应用。当然，随着目前深度学习的崛起，尤其是RNN，LSTM等神经网络序列模型的火热，HMM的地位有所下降。但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解 ...
分类：
编程语言 时间：
2019-08-10 19:24:59
阅读次数：
206
常用字段： 在Django中，定义了一些Field来与数据库表中的字段类型来进行映射。以下将介绍那些常用的字段类型。 AutoField： 映射到数据库中是int类型，可以有自动增长的特性。一般不需要使用这个类型，如果不指定主键，那么模型会自动的生成一个叫做id的自动增长的主键。如果你想指定一个其他 ...
分类：
其他好文 时间：
2019-07-29 20:20:59
阅读次数：
149
RNN中的梯度消失/爆炸原因 梯度消失/梯度爆炸是深度学习中老生常谈的话题，这篇博客主要是对RNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。 首先，上图是RNN的网络结构图，$(x_1, x_2, x_3, …, )$是输入的序列，$X_t$表示时间步为$t$时的输入向量。假设我们总共有$ ...
分类：
其他好文 时间：
2019-07-24 19:22:12
阅读次数：
119
1、如何在全连接层拼接特征？ 有一种方法是有两个input，一个input通过网络最终达到全连接层，另一个input直接接一个全连接网络，神经元数是特征数，这两个可以进行一个concat。 当然了也可以直接输入特征concat到全连接层，但是据说前者效果要好一点。 2、word2vec词向量如何在网 ...
分类：
其他好文 时间：
2019-07-24 00:12:20
阅读次数：
100
错误： 原因：使用了apex，可能原因是gcc编译版本不对，二是未使用python3执行命令 解决：1. 删掉apex目录下的build文件夹，重新编译 2. 使用 python3 执行命令，因为使用anaconda2的时候python执行的是python2 ...
分类：
其他好文 时间：
2019-07-23 20:10:25
阅读次数：
353
在循环神经网络(RNN)模型与前向反向传播算法中，我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。... ...
分类：
其他好文 时间：
2019-07-19 21:08:16
阅读次数：
219
一、为什么RNN需要处理变长输入 假设我们有情感分析的例子，对每句话进行一个感情级别的分类，主体流程大概是下图所示： 思路比较简单，但是当我们进行batch个训练数据一起计算的时候，我们会遇到多个训练样例长度不同的情况，这样我们就会很自然的进行padding，将短句子padding为跟最长的句子一样 ...
分类：
其他好文 时间：
2019-07-14 18:00:54
阅读次数：
160
早上看CDH发现有一个nodemanager挂掉 然后查看对应的日志。 发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间 清理磁盘的时候发现主要是/tmp目录下面生成了很多 类似这种的日志。 清理完空间之后 重启nodemanager。发现还是启不来 到这里之后发现就停住了。 ...
分类：
其他好文 时间：
2019-07-05 09:37:40
阅读次数：
187
