参考资料：人工神经网络－韩力群PPT
看了一些关于基于神经网络的语言模型, 与传统语言模型相比, 除了计算量让人有点不满意之外, 不需要额外的平滑算法, 感觉它们的效果让人惊讶。 这些网络里面都能看到BP的影子, 可以说BP网络是最基本的, 掌握扎实了, 对其他结构理解会更深刻，
于是早在学习语言模型之前我自己曾经用c++写过一个简单的BP网络，虽然功能简单，只有最基本的三...
分类：
编程语言 时间：
2015-03-30 09:27:29
阅读次数：
248
一、发展起源：统计语言模型起源于 Ponte 和 Croft 在 1998年的 SIGIR上发表的论文应用：语言模型的应用很多：corsslingual retrievaldistributed IRexpert findingpassage retrievalweb searchgenomics ...
分类：
编程语言 时间：
2015-03-20 12:46:42
阅读次数：
141
参考文献：
1. Statistical Language Models Based on Neural Networks
2. A guide to recurrent neural networks and backpropagation
前一篇文章介绍了nnlm，用神经网络来对语言进行建模，nnlm一个很大的优点就是将历史映射到一个低维的空间而并不像普通n-gram,这就降低了...
分类：
其他好文 时间：
2015-03-19 22:12:06
阅读次数：
2611
一、朴素贝叶斯(Naïve Bayes)分类器 1.1 公式 朴素贝叶斯是一个概率分类器 文档 d 属于类别 c 的概率计算如下（多项式模型）： nd是文档的长度(词条的个数) P(tk |c) 是词项tk 出现在类别c中文档的概率，即类别c文档的一元语言模型 P(tk |c) 度量的是当c是正确类...
分类：
编程语言 时间：
2015-03-07 18:23:06
阅读次数：
657
关于神经网络训练的部分还没有看完，之后会陆续补全。
word2vec源代码：
// Copyright 2013 Google Inc. All Rights Reserved.
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except...
分类：
其他好文 时间：
2015-03-06 15:53:17
阅读次数：
181
自然语言处理 基于规则 基于统计统计语言模型中文分词 梁南元--查字典 郭进--统计语言模型 Basis Technology 通用分词器 葛显平、朱安隐含马尔科夫模型信息熵贾里尼克、香农、雅各布森、乔姆斯基、弗兰德、哈克特统计语音识别和自然语言处理雅让斯基、布莱尔阿米特.辛格搜索引擎：...
分类：
其他好文 时间：
2015-02-19 20:43:20
阅读次数：
310
N-gram语言模型 考虑一个语音识别系统，假设用户说了这么一句话：“I have a gun”，因为发音的相似，该语音识别系统发现如下几句话都是可能的候选：1、I have a gun. 2、I have a gull. 3、I have a gub. 那么问题来了，到底哪一个是正确答案呢？ 一般...
分类：
编程语言 时间：
2015-01-16 22:09:00
阅读次数：
270
中文分词技术
http://blog.csdn.net/u012637501
一、中文分词技术
1.中文分词：上一篇博文我们谈到利用统计语言模型进行自然语言处理，而这些语言模型主要是建立在词的基础上的，因为词是表达语义的最小单位。对于西方拼音来讲，词之间有明确的分界符，统计和使用语言模型非常直接,如I
love China very much.但是对于中文来说，由于词之间没有明确的分...
分类：
其他好文 时间：
2015-01-10 11:20:46
阅读次数：
1190
从规则到统计与统计语言模型
http://blog.csdn.net/u012637501
一、自然语言处理-从规则到统计
1.基于规则的自然语言处理
在20世纪60年代，摆在科学家面前的问题是怎样才能让机器理解自然语言。当时普遍的认识是首先要做好两件事，即分析语句(语法)和获取语义。由于西方的语言学家们已经对各种自然语言进行了非常形式化的总结，学习语法规则、词性和构词法对于学习西...
分类：
编程语言 时间：
2015-01-09 17:20:12
阅读次数：
386
用srilm测试语言模型的表现时，结果报告中会给出两个ppl的值如下：ppl= 87.1826 ppl1= 113.915它们的计算公式为：ppl = 10^(-logprob / (words - OOVs + sentences))ppl1 = 10^(-logprob / (words - O...
分类：
其他好文 时间：
2014-12-17 10:44:15
阅读次数：
1891
