http://licstar.net/archives/328 这篇博客是我看了半年的论文后，自己对 Deep Learning 在 NLP 领域中应用的理解和总结，在此分享。其中必然有局限性，欢迎各种交流，随便拍。 Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 NL ...
分类：
编程语言 时间：
2016-05-30 19:52:18
阅读次数：
1099
http://max.book118.com/html/2014/0814/9432056.shtm ASR技术的基础主要是信号处理和概率模型。 信号处理技术 语音信号处理 谱分析 基于时间的概率模型 HMM隐马尔柯夫模型 语言模型 专门针对普通话的语言分析 专门针对普通话的语言分析 ...
分类：
其他好文 时间：
2016-05-27 20:00:15
阅读次数：
117
引言前面已经介绍过RNN的基本结构，最基本的RNN在传统的BP神经网络上，增加了时序信息，也使得神经网络不再局限于固定维度的输入和输出这个束缚，但是从RNN的BPTT推导过程中，可以看到，传统RNN在求解梯度的过程中对long-term会产生梯度消失或者梯度爆炸的现象，这个在这篇文章中已经介绍了原因，对于此，在1997年
的Grave大作[1]中提出了新的新的RNN结构：Long Short Te...
分类：
编程语言 时间：
2016-05-27 11:24:59
阅读次数：
818
前言CNTK是微软开源的深度学习工具箱，主要在机器学习领域实现了各种神经网络结构的计算功能。而目前在自然语言处理领域上，深度计算等更是研究的主流方向，笔者将会在本文中，针对一些简单的语言模型概念进行讲解，并结合CNTK工具箱进行一些基础的实践工作。...
分类：
编程语言 时间：
2016-04-29 16:52:55
阅读次数：
797
一、n-gram是什么wikipedia上有关n-gram的定义：
n-gram是一种统计语言模型，用来根据前(n-1)个item来预测第n个item。在应用层面，这些item可以是音素（语音识别应用）、字符（输入法应用）、词（分词应用）或碱基对（基因信息）。一般来讲，可以从大规模文本或音频语料库生成n-gram模型。
习惯上，1-gram叫unigram，2-gram称为bigram，3-gr...
分类：
编程语言 时间：
2016-04-29 16:05:20
阅读次数：
620
有这么一类神经网络，能够在NLP上发挥巨大的作用，处理从语言模型(language model)到双语翻译，到文本生成，甚至到代码风格模仿的问题。这就是我们今天要介绍的RNN(递归神经网络)。...
分类：
其他好文 时间：
2016-04-27 00:23:37
阅读次数：
364
我们在深度学习与计算机视觉专栏中看过计算机通过卷积神经网络学会了识别图片的内容——模仿人类的看，而工业界大量的应用也证明了神经网络能让计算机学会听（比如百度的语音识别），于是大量的精力开始投向NLP领域，让计算机学会写也一定是非常有意思的事情，试想一下，如果计算机通过读韩寒和小四的小说，就能写出有一样的调调的文字，这是多带劲的一件事啊。你还别说，还真有这么一类神经网络，能够在NLP上发挥巨大的作用，处理从语言模型.....
分类：
其他好文 时间：
2016-04-27 00:21:49
阅读次数：
1127
前一篇文章 用 CNTK 搞深度学习 （一） 入门 介绍了用CNTK构建简单前向神经网络的例子。现在假设读者已经懂得了使用CNTK的基本方法。现在我们做一个稍微复杂一点，也是自然语言挖掘中很火的一个模型： 用递归神经网络构建一个语言模型。 递归神经网络 （RNN），用图形化的表示则是隐层连接到自己的 ...
分类：
编程语言 时间：
2016-04-22 01:09:05
阅读次数：
532
我们在之前文章《NLP系列(2)_用朴素贝叶斯进行文本分类(上)》探讨过，朴素贝叶斯的局限性来源于其条件独立假设，它将文本看成是词袋子模型，不考虑词语之间的顺序信息，就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢？有，就是本节要接到的N-gram语言模型。...
分类：
编程语言 时间：
2016-02-09 13:33:58
阅读次数：
538
我们在之前文章《NLP系列(2)_用朴素贝叶斯进行文本分类(上)》探讨过，朴素贝叶斯的局限性来源于其条件独立假设，它将文本看成是词袋子模型，不考虑词语之间的顺序信息，就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢？有，就是本节要接到的N-gram语言模型。...
分类：
编程语言 时间：
2016-02-09 12:02:14
阅读次数：
508
