秉着能偷懒就偷懒的精神，关于AC自动机本来不想看的，但是HanLp的源码中用户自定义词典的识别是用的AC自动机实现的。唉～没办法，还是看看吧AC自动机理论Aho Corasick自动机，简称AC自动机，要学会AC自动机，我们必须知道什么是Trie，也就是字典树。Trie树，又称单词查找树或键树，是一...
分类：
编程语言 时间：
2015-10-21 19:00:11
阅读次数：
1107
Lucene分词器及高亮分词器在lucene中我们按照分词方式把文档进行索引，不同的分词器索引的效果不太一样，之前的例子使用的都是标准分词器，对于英文的效果很好，但是中文分词效果就不怎么样，他会按照汉字的字直接分词，没有词语的概念。使用分词的地方只需要把Analyzer实例化成我们第三方的分词器即可...
分类：
Web程序 时间：
2015-10-19 01:54:10
阅读次数：
215
首先在安装Rwordseg之前必须先安装rJava:install.packages("rJava")试开URL’http://cran.rstudio.com/bin/macosx/mavericks/contrib/3.1/rJava_0.9-7.tgz‘Contenttype‘application/x-gzip‘length600926bytes(586Kb)打开了URL================================================..
分类：
编程语言 时间：
2015-09-30 01:10:45
阅读次数：
1118
Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词。例如： curl?-XPOST??"http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text=我是中国人" 我们...
分类：
其他好文 时间：
2015-09-16 12:54:45
阅读次数：
227
简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，同时分词的结果也令人印象深刻，有兴趣的可以到它的在线演示站点体验下（注意第三行文字）。.NET平台上常见的分词组件是盘古分词，但是已经好久没有更...
分类：
Web程序 时间：
2015-09-11 00:13:39
阅读次数：
546
简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，同时分词的结果也令人印象深刻，有兴趣的可以到它的在线演示站点体验下（注意第三行文字）。.NET平台上常见的分词组件是盘古分词，但是已经好久没有更...
分类：
Web程序 时间：
2015-09-09 09:47:17
阅读次数：
256
jieba中文分词的.NET版本：jieba.NET2015-09-08 20:05 by Anders Cui,191阅读,3评论,收藏,编辑简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，...
分类：
其他好文 时间：
2015-09-09 01:04:41
阅读次数：
507
分词、词性标注和关键词提取是jieba中文分词的三个主要功能，jieba.NET实现了与jieba一致的功能和接口。jieba.NET的开发刚刚开始，还有很多细节需要完善。非常欢迎大家的试用和反馈，也希望能和大家一起讨论，共同实现更好的中文分词库。
分类：
Web程序 时间：
2015-09-08 21:57:40
阅读次数：
277
一、结巴中文分词采用的算法
基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
二、结巴中文分词支持的分词模式
目前结巴分词支持三种分词模式：
精确模式，试图将句子最精确地切开，适...
分类：
编程语言 时间：
2015-08-29 18:50:49
阅读次数：
483
word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。能通过自...
分类：
编程语言 时间：
2015-08-29 11:19:29
阅读次数：
247
