在网上下载了lucene当前最新版本4.0，以及IKAnalyzer中文分词器的完整发布包。运行之后发现异常：Exception in thread "main" java.lang.VerifyError: class org.wltea.analyzer.lucene.IKAnalyzer ov...
分类：
Web程序 时间：
2014-12-18 16:29:35
阅读次数：
1432
solr本身对中文分词的处理不是太好，所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理，ik-analyzer就是其中一个不错的中文分词器。一、版本信息solr版本：4.7.0需要ik-analyzer版本：IK Analyzer 2012FF_hf1ik-analyzer下载地址：...
分类：
其他好文 时间：
2014-12-12 16:35:14
阅读次数：
273
一、 Lucene索引创建和优化 [版本2.9.0以上]Lucene索引的创建首先需要取得几个必须的对象：1、分词器//可以采用其他的中文分词器StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT);//分词器...
分类：
Web程序 时间：
2014-12-03 18:38:58
阅读次数：
245
以前都是用C++对中文进行分词，也用过Python的“结巴”分词，最近用了一下Java的Ansj中文分词，感觉还不错。
下面是用Ansj对中文进行分词的一个简单例子，希望能对大家有用。
1.下载Ansj的相关jar包
要用Ansj进行中文分词，必须先下载Ansj的jar包，下载地址可以参考：https://github.com/NLPchina/ansj_seg
2.程序代...
分类：
编程语言 时间：
2014-11-26 14:24:16
阅读次数：
329
在较复杂的lucene搜索业务场景下，直接网上下载一个作为项目的分词器，是不够的。那么怎么去评定一个中文分词器的好与差：一般来讲，有两个点；词库和搜索效率，也就是算法。
lucene的倒排列表中，不同的分词单元有不同的PositionIncrementAttribute，如果两个词有着相同位置属性，比如：我定义美国和中国这两个词在倒排列表中是同一个位置，那么搜索美国的话，中国也能出来。这就是同义词搜索原理。
以下代码（用mmseg的 Tokenizer 去切词之后，然后再做同义词）：
先自定义...
分类：
Web程序 时间：
2014-11-19 18:47:09
阅读次数：
265
搭建SolrCloud ，zookeeper ，HDFS ，IK中文分词器，注意事项...
分类：
其他好文 时间：
2014-11-04 15:08:28
阅读次数：
628
近日需要对大众点评网60万+的景点评论进行语义分析，所以必须使用分词工具，刚刚开始时我是选择使用NLPIR汉语分词系统（又名ICTCLAS2014），NLPIR的教程在[分词]NLPIR/ICTCLAS2014分词系统的C++ API 在Windows下初次使用，但是直观上感觉分词效果不怎么理想.....
分类：
编程语言 时间：
2014-09-20 09:57:17
阅读次数：
342
nltk同时也能处理中文的场景，只要做如下改动： 使用中文分词器(如我选用了结巴分词) 对中文字符做编码处理，使用unicode编码方式 python的源码编码统一声明为 gbk 使用支持中文的语料库 to be continue......
分类：
其他好文 时间：
2014-09-17 10:30:22
阅读次数：
275
1. IKAnalyzer3.0介绍 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词...
分类：
其他好文 时间：
2014-09-10 12:47:00
阅读次数：
374
Lucene系列介绍Lucene：分词器和索引文件目录分词器索引文件结构常用的中文分词器1、分词器分词器，对文本资源进行切分，将字符文本串按照一定的规则切分为一个个可以进行索引的最小单位（关键词），以便检索时使用。建立索引和进行检索时都要用到分词器。为了保证能正确的检索到结果，在建立索引与进行检索时...
分类：
其他好文 时间：
2014-09-06 08:35:42
阅读次数：
199
