算法描述：S1为带切分字符串，S2为空，MaxLen为词典中的最大词长判断S1是否为空，若是则输出S2从S1右边开始，取出待处理字符串str（其中str的长度小于MaxLen）查看str是否在词典中，若是则转5，若否则转6S2+=str+”/”,S1-=str,转2将str最左边的一个字去掉判断st...
分类：
编程语言 时间：
2015-05-25 21:55:18
阅读次数：
137
solr本身对中文分词的处理不是太好，所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理，ik-analyzer就是其中一个不错的中文分词器。
一、版本信息
solr版本：4.7.0
需要ik-analyzer版本：IK Analyzer 2012FF_hf1
ik-analyzer下载地址：http://code.google.com/p/ik-analyzer/dow...
分类：
其他好文 时间：
2015-05-22 13:33:37
阅读次数：
165
分词的目的是将测试文本按一定的根据一定的规则进行分词处理[2]；便于提取文本的特征值，为文本提供特征值对比的词组。英文词组是以单词为单位，以空格为分隔，在分词上具有巨大的便利性，相对而言中文因为自身常以词语、短语、俗语等表现形式，因此中文分词具有很大的不确定性。我国经过多年的发展已经取得巨大的成就，...
分类：
其他好文 时间：
2015-05-19 20:45:56
阅读次数：
172
package my.IKAnalyzer;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import java.io.IOException;import java.io.StringReader;import java.util.Vector;import org.wltea.analyz...
分类：
其他好文 时间：
2015-05-18 09:09:43
阅读次数：
135
在中文搜索中的标点、符号往往也是有语义的，比如我们要搜索“C++”或是“C#”，我们不希望搜索出来的全是“C”吧？那样对程序员来说是个噩梦。然而在中文分词工具mmseg中，它的中文分词是将标点与符号均去除的，它认为对于中文来讲标点符号无意义，这明显不能满足我们的需求。那么怎样改造它让它符合我们的要求...
分类：
其他好文 时间：
2015-05-14 00:53:54
阅读次数：
234
在进行中文分词的时候，我们如何利用多核提升分词速度呢？ 计算机很早就进入多核心时代了，不充分利用多核CPU是对计算资源的一种极大的浪费。 在对一段文本进行分词的时候，word分词器的处理步骤如下： 1、把要分...
分类：
其他好文 时间：
2015-05-13 01:01:41
阅读次数：
177
cws_evaluation是一个Java开源项目，用于对中文分词器的分词效果进行评估对比，目前支持9大中文分词器。分别是：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器、jcseg分词器、fudannlp分词器、smart...
分类：
其他好文 时间：
2015-05-12 11:48:11
阅读次数：
295
NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；官方网址：http://ictclas.nlpir.org（地址一直在变，要是不能用直接搜NLPIR）.....
分类：
其他好文 时间：
2015-05-10 12:45:23
阅读次数：
254
本文的目标有两个： 1、学会使用9大Java开源中文分词器 2、对比分析9大Java开源中文分词器的分词效果 9大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口： /**
?...
分类：
编程语言 时间：
2015-05-10 06:26:32
阅读次数：
227
在使用?基于词典?的分词方法的时候，如果我们解决了下面4个问题： 1、如何把一句话中所有的词找出来呢？只要词典中有就一定要找出来。 2、如何利用1中找出来的词组合成完整的句子？组合成的句子要和原句一样。 ...
分类：
编程语言 时间：
2015-05-09 20:39:14
阅读次数：
708
