码迷,mamicode.com
首页 > 其他好文 > 详细

IKAnalyzer中文分词器

时间:2014-09-10 12:47:00      阅读:374      评论:0      收藏:0      [点我收藏+]

标签:des   Lucene   style   http   color   os   io   使用   java   

1. IKAnalyzer3.0介绍

IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出了3个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文本分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。

1.1 IKAnalyzer3.0特性

    采用了特有的“正向迭代最细粒度切分算法“,具有50万字/秒的高速处理能力。

    采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。

  优化的词典存储,更小的内存占用。支持用户词典扩展定义

    针对Lucene全文检索优化的查询分析器IKQueryParser(作者吐血推荐);采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。

1.2 分词效果示例

文本原文1:

IK-Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出了3个大版本。分词结果:

ik-analyzer|是|一个|一|个|开源|的|基于|java|语言|开发|的|轻量

级|量级|的|中文|分词|工具包|工具|从|2006|年|12|月|推出|1.0|版|开始|ikanalyzer|已经|推出|出了|

3|

个大|

个|版本

文本原文2:

永和服装饰品有限公司。分词结果:

:永和|和服|服装|装饰品|装饰|饰品|有限|公司

文本原文3:

作者博客:linliangyi2007.javaeye.com 电子邮件地址:linliangyi2005@gmail.com

分词结果::作者|博客|linliangyi2007.javaeye.com|2007|电子邮件|电子|邮件|

地址|

linliangyi2005@gmail.com|2005


作者博客:linliangyi2007.javaeye.com电子邮件:linliangyi2005@gmail.com

分词结果分词结果::作者|博客|linliangyi2007.javaeye.com|2007|电子邮件|电子|邮件|

地址|

linliangyi2005@gmail.com|2005

2.使用指南

2.1 下载地址

GoogleCode开源项目:http://code.google.com/p/ik-analyzer/

GoogleCodeSVN下载:http://ik-analyzer.googlecode.com/svn/trunk/

2.2 安装部署

IKAnalyzer安装包包含:

  1. .IKAnalyzer3.0GA.jar

  2. IKAnalyzer.cfg.xml

它的安装部署十分简单,将IKAnalyzer3.0GA.jar部署于项目的lib目录中;IKAnalyzer.cfg.xml文件放置在代码根目录(对于web项目,通常是WEB-INF/classes目录,同hibernate、log4j等配置文件相同)下即可。

2.3  Lucene用户快速入门

代码样例

IKAnalyzerDemo

Demo/**

*IKAnalyzerDemo*@paramargs*/

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;

import org.apache.lucene.document.Document;

import org.apache.lucene.document.Field;

import org.apache.lucene.index.CorruptIndexException;

import org.apache.lucene.index.IndexWriter;

import org.apache.lucene.search.IndexSearcher;

import org.apache.lucene.search.Query;

import org.apache.lucene.search.ScoreDoc;

import org.apache.lucene.search.TopDocs;

import org.apache.lucene.store.Directory;

import org.apache.lucene.store.LockObtainFailedException;

import org.apache.lucene.store.RAMDirectory;//引用IKAnalyzer3.0的类

import org.wltea.analyzer.lucene.IKAnalyzer;

import org.wltea.analyzer.lucene.IKQueryParser;

import org.wltea.analyzer.lucene.IKSimilarity;

/**

 * /*@authorlinly

 **/


public class IKAnalyzerDemo {

public static void main(String[] args) {

// LuceneDocument的域名

String fieldName = "text";// 检索内容

String text = "IKAnalyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切分算法。";

// 实例化IKAnalyzer分词器

Analyzer analyzer = new IKAnalyzer();

Directory directory = null;

IndexWriter iwriter = null;

IndexSearcher isearcher = null;

try {

// 建立内存索引对象

directory = new RAMDirectory();

iwriter = new IndexWriter(directory, analyzer, true,

IndexWriter.MaxFieldLength.LIMITED);

Document doc = new Document();

doc.add(new Field(fieldName, text, Field.Store.YES,

Field.Index.ANALYZED));

iwriter.addDocument(doc);

iwriter.close();

// 实例化搜索器

isearcher = new IndexSearcher(directory);// 在索引器中使用IKSimilarity相似度评估器

isearcher.setSimilarity(new IKSimilarity());

String keyword = "中文分词工具包";

// 使用IKQueryParser查询分析器构造Query对象

Query query = IKQueryParser.parse(fieldName, keyword);// 搜索相似度最高的5条记录

TopDocs topDocs = isearcher.search(query, 5);

System.out.println("命中:" + topDocs.totalHits);// 输出结果

ScoreDoc[] scoreDocs = topDocs.scoreDocs;

for (int i = 0; i < topDocs.totalHits; i++) {

Document targetDoc = isearcher.doc(scoreDocs[i].doc);

System.out.println("内容:" + targetDoc.toString());

}

} catch (CorruptIndexException e) {

e.printStackTrace();

} catch (LockObtainFailedException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} finally {

if (isearcher != null) {

try {

isearcher.close();

} catch (IOException e) {

e.printStackTrace();

}

}

if (directory != null) {

try {

directory.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

}

}

执行结果:

命中:1

内容:Document<stored/uncompressed,indexed,tokenized<text:IKAnalyzer是一个结合词典分词和文法分词的中文分词开源工具包。它使用了全新的正向迭代最细粒度切分算法。>>





  





IKAnalyzer中文分词器

标签:des   Lucene   style   http   color   os   io   使用   java   

原文地址:http://my.oschina.net/u/1453975/blog/311968

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!