常规神经网络： 常规的神经网络是各算各的，每个x之间都是独立的 递归神经网络： 递归神经网络要干的一件事就是，在隐藏层中，x1利用了x0的w，x2利用了x1的w，x3利用x2的w。。。。。以此类推 例如下面这个例子： x0表示“我出生” x1表示“在” x2表示“中国” xt表示“我说” xt+1就 ...
分类：
其他好文 时间：
2018-10-19 14:12:03
阅读次数：
137
1. 前言 谷歌在2017年发表了一篇论文名字教Attention Is All You Need， 提出了一个只基于attention的结构来处理序列模型 相关的问题，比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder decoder的模型基础，而谷歌最新的只基于Att ...
分类：
其他好文 时间：
2018-10-19 02:12:50
阅读次数：
198
Preamble This repository contains the lecture slides and course description for the "Deep Natural Language Processing" course offered in Hilary Term 2 ...
分类：
其他好文 时间：
2018-10-18 22:10:27
阅读次数：
196
深度学习做NLP的方法，基本上都是先将句子分词，然后每个词转化为对应的词向量序列。(https://kexue.fm/archives/4765) 第一个思路是RNN层，递归进行，但是RNN无法很好地学习到全局的结构信息，因为它本质是一个马尔科夫决策过程。 第二个思路是CNN层，其实CNN的方案也是 ...
分类：
其他好文 时间：
2018-10-14 00:34:17
阅读次数：
694
在较深的网络，如多层CNN或者非常长的RNN，由于求导的链式法则，有可能会出现梯度消失（Gradient Vanishing）或梯度爆炸（Gradient Exploding ）的问题。 原理 问题：为什么梯度爆炸会造成训练时不稳定而且不收敛？ 梯度爆炸，其实就是偏导数很大的意思。回想我们使用梯度下 ...
分类：
其他好文 时间：
2018-10-02 22:14:11
阅读次数：
198
转自：http://blog.csdn.net/malefactor/article/details/51078135 CNN是目前自然语言处理中和RNN并驾齐驱的两种最常见的深度学习模型。图1展示了在NLP任务中使用CNN模型的典型网络结构。一般而言，输入的字或者词用Word Embedding的 ...
分类：
其他好文 时间：
2018-10-02 20:26:34
阅读次数：
196
RNN 简易理解RNN与LSTM 比RNN快136倍！上交大提出SRNN，现在RNN也能做并行计算了 ...
分类：
其他好文 时间：
2018-10-02 17:26:03
阅读次数：
131
Keras 是一个兼容 Theano 和 Tensorflow 的神经网络高级包, 用他来组件一个神经网络更加快速, 几条语句就搞定了. 而且广泛的兼容性能使 Keras 在 Windows 和 MacOS 或者 Linux 上运行无阻碍. 今天来对比学习一下用 Keras 搭建下面几个常用神经网络 ...
分类：
其他好文 时间：
2018-09-30 16:52:24
阅读次数：
198
数据预处理-异常值识别 from:http://shataowei.com/2017/08/09/%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86-%E5%BC%82%E5%B8%B8%E5%80%BC%E8%AF%86%E5%88%AB/ 系统总结了常用的 ...
分类：
其他好文 时间：
2018-09-30 12:42:17
阅读次数：
272
Embedding Layer是与特定自然语言处理上的神经网络模型联合学习的单词嵌入。 ...
分类：
其他好文 时间：
2018-09-26 14:55:30
阅读次数：
176
