预备知识
语言模型
[摘自 维基百科]
统计式的语言模型是借由一个概率分布，而指派概率给字词所组成的字串：
语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的概率变得很困难，这也是要使用近似的平滑n元语法...
分类：
编程语言 时间：
2015-04-06 15:45:25
阅读次数：
226
1、NLPIR简介
NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；张华平博士先后倾力打造十余年，内核升级10次。
下载地址：http://ictclas.nlpir.org/downloads
2、目录介绍
...
分类：
编程语言 时间：
2015-03-10 15:35:18
阅读次数：
676
简介“结巴”中文分词的R语言版本，支持最大概率法（Maximum Probability）, 隐式马尔科夫模型（Hidden Markov Model）, 索引模型（QuerySegment）, 混合模型（MixSegment）, 共四种分词模式， 同时有词性标注，关键词提取，文本Simhash相似度比较等功能。项目使用了Rcpp和CppJieba进行开发。特性支持 Windows , Linux操...
分类：
编程语言 时间：
2015-02-17 11:42:32
阅读次数：
376
ICTCLAS 汉语词性标注集汉语文本词性标注标记集Ag 形语素 形容词性语素。形容词代码为a，语素代码ｇ前面置以A。a 形容词 取英语形容词adjective的第1个字母。ad 副形词 直接作状语的形容词。形容词代码a和副词代码d并在一起。an 名形词 具有名词功能的形容词。形容词代码a和名词代码...
分类：
其他好文 时间：
2015-02-10 18:37:34
阅读次数：
214
http://www.hankcs.com/nlp/part-of-speech-tagging.html词性标注（Part-of-Speech tagging 或POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容...
分类：
其他好文 时间：
2015-01-14 19:45:03
阅读次数：
729
http://blog.sina.com.cn/s/blog_605f5b4f010109z3.html首先，CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注的建模，像词性标注，True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特...
分类：
其他好文 时间：
2015-01-04 15:15:08
阅读次数：
438
http://blog.csdn.net/heavendai/article/details/7228621CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一，常用于句法分析、命名实体识别、词性标注等。在我看来，CRF就像一个反向的隐马尔可夫...
分类：
其他好文 时间：
2015-01-04 15:13:57
阅读次数：
162
"结巴"中文分词的R语言版本，支持最大概率法（Maximum Probability），隐式马尔科夫模型（Hidden Markov Model），索引模型（QuerySegment），混合模型（MixSegment），共四种分词模式，同时有词性标注，关键词提...
分类：
编程语言 时间：
2014-12-22 11:24:00
阅读次数：
661
NLP中常用的PTB语料库，全名Penn Treebank。Penn Treebank是一个项目的名称，项目目的是对语料进行标注，包括词性标注以及句法分析。语料来源为：1989年华尔街日报语料规模：1M words，2499篇文章语料价格：$1700Penn Treebank项目有两个发行版，Tre...
分类：
其他好文 时间：
2014-12-17 00:08:22
阅读次数：
1274
http://blog.csdn.net/ice110956/article/details/17090061整理至11月中旬在重庆参加的自然语言处理与机器学习会议，第一讲为自然语言处理。由基本理论到实际运用，整理了基本的框架。1.自然语言处理基础词性标注(POS):为句子中的每个词语标注词性,可看...
分类：
编程语言 时间：
2014-12-16 13:18:08
阅读次数：
303
