IKAnalyzer词典扩充最近工作使用到lucene，需要对中文分词，分词器是IKAnalyzer，自带的词典包含了27万词条，能满足一般的分词要求，但是如果应用到特定的专业领域，还需要扩展专业词库，以达到更好的分词效果：IKAnalyzer词典扩充
IKAnalyzer分词API
智能分词
最细粒度切分
词库扩展
通过配置文件扩展词典
通过API扩展词典IKAnalyzer分词API...
分类：
其他好文 时间：
2015-06-15 11:20:57
阅读次数：
272
摘要：为解决中文搜索的问题，最开始使用PHP版开源的SCWS，但是处理人名和地名时，会出现截断人名地名出现错误。开始使用NLPIR分词，在分词准确性上效果要比SCWS好。本文介绍如何在windows系统下编译JAVA，生成可以执行的jar文件。NLPIR的下载地址：http://ictclas.nl...
分类：
编程语言 时间：
2015-06-12 23:47:26
阅读次数：
314
之前的札记中，提到了使用统计语言模型进行自然语言的处理，而这些语言模型是建立在词的基础上，因为词是表达语义的最小单位。西方的拼音语言，词之间有明确的分界符，统计和使用语言模型处理相对简单。而对...
分类：
其他好文 时间：
2015-06-02 11:31:34
阅读次数：
424
常用来做中文文本分析的一个包是Rwordseg，虽然很久没见更新了，但是在做中文分词时，它还是一个很好地选择。Rwordseg包的安装很容易出错，不管是在windows还是在Linux的系统下。之前在windows系统下装过一次，各种纠结最后搞定，最近转战Redhat又重新遭遇各种新问题。还是把过程记录下来，留作以后查看。
Rwordseg依赖包rJava，但是安装rJava包也是一个比...
分类：
其他好文 时间：
2015-06-01 22:40:43
阅读次数：
210
原文地址：http://www.cnblogs.com/kekukele/p/4544349.html 前段时间，利用业余时间做了一个磁力搜索的网站Btdog，其中使用到了简单的中文分词与加权搜索，在这里分享给大家，供大家参考。 在我的网站中，中文分词使用的是SCWS分词系统，这个分词系统提供P.....
分类：
Web程序 时间：
2015-06-01 18:42:50
阅读次数：
179
刚接触Lucene2.x和Solr2.x的时候，谈到中文分词，会让我立即想到用庖丁中文分词，庖丁中文分词因巨大的中文词库以及支持不限制个数的用户自定义词库，而且是纯文本格式，一行一词，使用后台线程检测词库的更新，自动编译更新过的词库到二进制版本而出名。 几年过去了，Lucene和Solr...
分类：
其他好文 时间：
2015-05-29 11:40:57
阅读次数：
215
在Solr中配置中文分词IKAnalyzer1、在配置文件schema.xml（位置{SOLR_HOME}/config/下），配置信息如下： 2、在IKAnalyzer相关的jar包（IKAnalyzer2012_u6.jar 本博客不提供下载）放在{SOLR_HOME}...
分类：
其他好文 时间：
2015-05-28 15:59:39
阅读次数：
218
算法描述：S1为带切分字符串，S2为空，MaxLen为词典中的最大词长判断S1是否为空，若是则输出S2从S1左边开始，取出待处理字符串str（其中str的长度小于MaxLen）查看str是否在词典中，若是则转5，若否则转6S2+=str+”/”,S1-=str,转2将str最右边的一个字去掉判断st...
分类：
编程语言 时间：
2015-05-25 22:19:22
阅读次数：
137
算法描述：S1为带切分字符串，FMM为S1正向最大匹配切分结果，BMM为S1逆向最大匹配切分结果如果FMM和BMM长度不相等则输出长度较短的那个否则转3如果FMM和BMM的结果相同则输出任意一个否则输出单个字字数最少的结果Java实现代码： 1 public static List SegDoubl...
分类：
编程语言 时间：
2015-05-25 21:58:18
阅读次数：
144
