Overview传统语言模型RNNsRNN 语言模型一些训练时重要的策略和技巧梯度消失和梯度爆炸的问题双向RNNs其他序列问题中的RNNsLanguage Models语言模型计算的是一连串词的概率：P(w1,w2…wT)；其中的w1,w2…wT都是词向量。这种语言模型有利于机器翻译，例如：1.词序：p(the cat is small) > p(small the is cat)2.词的选取：p(...
分类：
其他好文 时间：
2015-07-31 18:24:53
阅读次数：
227
作为应用广泛的一种统计模型(尤其是在自然语言处理(NLP)中),隐马尔科夫模型是非常值得一说的，本文就隐马尔科夫模型的原理和应用介绍进行说明。由于隐马尔科夫模型有着很多不同的具体算法实现，本文暂时跳过这部分内容，算法部分会另外写成一篇博文。马尔科夫链在语言模型及其实现中，我曾经简单地提到过马尔科夫链...
分类：
其他好文 时间：
2015-07-22 06:53:15
阅读次数：
159
老版本线程不安全
最近几天，在倒腾多线程的翻译解码器。单线程没问题的解码器，放在多线程下就经常无故的 segmentation fault (core dumped)。排查了一天原因，才发现是语言模型的问题。
老版本的SRILM不支持多线程，多个进程环境下报错。错误具体表现如下：
将语言模型作为公共资源，多个线程去读取，会报segmentation fault (core dumpe...
分类：
编程语言 时间：
2015-07-20 11:03:26
阅读次数：
520
Deep Learning 方向的部分 Paper ，自用。一 RNN1 Recurrent neural network based language model RNN用在语言模型上的开山之作2 Statistical Language Models Based on Neural Networ...
分类：
其他好文 时间：
2015-07-18 13:53:20
阅读次数：
145
ACL2014的best paper Fast and Robust Neural Network Joint Models for Statistical Machine Translation在SMT中使用深度学习知识，提出了一种neural network joint model（其实就是融合源端语言知识去做语言模型），论文实验给出的结果宣称大幅度提高了以往基于n-gram语言模型翻译系统的...
分类：
其他好文 时间：
2015-07-04 14:06:25
阅读次数：
306
作者：Mingxuan Wang，李航，刘群
单位：华为、中科院
时间：2015
发表于：acl 2015
文章下载：http://pan.baidu.com/s/1bnBBVuJ主要内容：
用deep learning设计了一种语言模型，能够根据之前“所有”的历史来预测当前词的条件概率。用语言模型迷惑度衡量、用机器翻译衡量，该模型都比baseline（5-gram、RNN、等）好具体内容...
分类：
其他好文 时间：
2015-06-29 22:21:28
阅读次数：
244
Deep Learning in NLP （一）词向量和语言模型这篇博客是我看了半年的论文后，自己对 Deep Learning 在 NLP 领域中应用的理解和总结，在此分享。其中必然有局限性，欢迎各种交流，随便拍。 Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 N....
分类：
编程语言 时间：
2015-06-25 21:04:30
阅读次数：
232
在之前的札记中，尤其是统计语言模型中，我们常提到贾里尼克的名字，弗里德里克·贾里尼克博士是成功将数学原理应用于自然语言处理领域的大师。 ? ??贾里尼克博士生于1932年11月18日，卒于2010年9月14日...
分类：
编程语言 时间：
2015-06-09 17:53:47
阅读次数：
195
继上次分享了经典统计语言模型，最近公众号中有很多做NLP朋友问到了关于word2vec的相关内容， 本文就在这里整理一下做以分享。 本文分为
概括word2vec
相关工作
模型结构
Count-based方法 vs. Directly predict
几部分，暂时没有加实验章节，但其实感觉word2vec一文中实验还是做了很多工作的，希望大家有空最好还是看一下。...
分类：
其他好文 时间：
2015-06-07 17:33:51
阅读次数：
480
之前的札记中，提到了使用统计语言模型进行自然语言的处理，而这些语言模型是建立在词的基础上，因为词是表达语义的最小单位。西方的拼音语言，词之间有明确的分界符，统计和使用语言模型处理相对简单。而对...
分类：
其他好文 时间：
2015-06-02 11:31:34
阅读次数：
424
