本文介绍利用NiuTrans工具进行文白对译的步骤，默认用户已经安装NiuTrans,安装目录为NiuTrans/，以下相对路径基于此目录。文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。一、语料预处理我们拿到的原始数据格式比较杂乱，需要做预处理，最终形成规则...
分类：
其他好文 时间：
2014-11-20 21:57:39
阅读次数：
388
自然语言从它产生开始，逐渐演变成一种上下文相关的信息表达和传递的方式，因此让计算机处理自然语言，一个基本的问题就是为自然语言这种上下文相关特性建立数学模型。这个数学模型就是自然语言处理中常说的统计语言模型，它是今天所有自然语言处理的基础，并且广泛应用与机器翻译、语音识别、印刷体和手写体识别、拼写纠错、汉字输入和文献查询。...
分类：
编程语言 时间：
2014-11-19 01:39:42
阅读次数：
306
语言模型，马尔科夫模型，bigram，trigram
分类：
其他好文 时间：
2014-10-27 20:55:46
阅读次数：
205
对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词——汉语的词与词之间没有空格，那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已／结婚／的／和／尚未／结婚／的”，还是“已／结婚／的／和尚／未／结婚／的”呢？这就是所谓的分词歧义难题。不过，现在很多语言模型都已能比较漂亮地解...
分类：
编程语言 时间：
2014-10-23 20:44:05
阅读次数：
264
\data\ngram 1=10ngram 2=20ngram 3=30\1-grams:-2.522091 啊 -0.4599362-3.616682 阿 -0.2710813-5.888154 阿坝-5.483542 阿布 -0.02341532-5.513821 阿迪达斯 -0....
分类：
编程语言 时间：
2014-10-23 20:39:57
阅读次数：
443
Deep Learning for Natural Language Processing (without Magic)http://nlp.stanford.edu/courses/NAACL2013/Deep Learning in NLP （一）词向量和语言模型http://licstar....
分类：
其他好文 时间：
2014-10-20 13:04:25
阅读次数：
152
1、多项式分布 2、文本的多项式分布建模3、共轭先验4、概率平滑｛Lapace平滑、加1平滑、Dirichlet贝叶斯平滑、2阶段语言模型｝5、似然函数6、log似然函数7、期望最大化算法8、条件概率9、贝叶斯全公式10、生成模型11、判别模型12、条件期望13、拉格朗日系数14、VSM，LSI，P...
分类：
其他好文 时间：
2014-10-19 21:18:18
阅读次数：
198
1.用数学方法描述规律由于自然语言具有上下文相关性，所以我们要依此建模，这就是我们常说的统计语言模型（statisticalLanguageModel）。比如一句话：国家主席习近ping昨天宣布将给非洲提供100亿美元的资金，帮助他们发展。这句话很容易理解。但是如果换成：习近ping国家主席将宣布1...
分类：
编程语言 时间：
2014-10-18 20:53:49
阅读次数：
297
1.TF-IDF2.基于语义的统计语言模型文章关键词提取基础件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读、语义查询和快速匹配等。采用基于语义的统计语言模型，所处理的文档不受行业领域限制，且能够识别出最新出现的新词语，所输出的词语可以配以权重...
分类：
其他好文 时间：
2014-09-24 16:02:07
阅读次数：
165
本文介绍利用NiuTrans工具进行文白对译的步骤，默认用户已经安装NiuTrans,安装目录为NiuTrans/，以下相对路径基于此目录。文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。一、语料预处理我们拿到的原始数据格式比较杂乱，需要做预处理，最终形成规则...
分类：
其他好文 时间：
2014-09-19 09:54:05
阅读次数：
231
