手动添加Jar包到我们的Maven项目中。 1、首先我在项目根目录中创建一个lib文件夹,将jar包拷贝到lib文件夹下 2、然后我们在maven的pom.xml中配置 <groupId>org.wltea.analyzer</groupId> <artifactId>IKAnalyzer</art ...
分类:
编程语言 时间:
2016-04-06 13:09:56
阅读次数:
297
一、配置IKAnalyzer中文分词器Solr版本5.2.1IKAnalyzer2012_u6.jar报错,用IKAnalyzer2012_FF_hf1.jar替换可解决解决lucene4.0与IKAnalyzer的冲突。解决Exceptioninthread"main"java.lang.VerifyError:classorg.wltea.analyzer.lucene.IKAnalyzeroverridesfinalmethodtokenStrea..
分类:
其他好文 时间:
2016-03-20 18:09:01
阅读次数:
1197
在使用IK之前同样也需要下载IK的jar包请点击下载,接下来我们对下载的文件进行配置 第一步:先将IKAnalyzer2012FF_u2.jar文件复制到tomcat目录webapps\solr5.5\WEB-INF\lib下 第二步:将IKAnalyzer.cfg.xml和stopword.dic
分类:
Web程序 时间:
2016-03-07 19:17:58
阅读次数:
177
这次更新,博客加入了搜索功能,使用的Lucene做的搜索,分词器采用的IKAnalyzer。因为IKAnalyzer没有在Maven的中央库中,所以我们得手动添加Jar包到我们的Maven项目中。1、首先我在项目根目录中创建一个lib文件夹,将jar包拷贝到lib文件夹下2、然后我们在maven的p...
分类:
编程语言 时间:
2016-01-12 11:21:14
阅读次数:
186
solr本身对中文分词的处理不是太好,所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理,ik-analyzer就是其中一个不错的中文分词器。1.版本信息 solr版本:4.7.0 需要ik-analyzer版本:IK Analyzer 2012FF_hf12.配置步骤下载压缩解压.....
分类:
其他好文 时间:
2016-01-09 18:31:17
阅读次数:
156
由于solr5.3.1本身不支持中文分词,而msseg4j的分词效果不明显。因而采用IK进行分词,然而参考http://www.superwu.cn/2015/05/08/2134/在google上下载的jar包放到solr目录下直接报如下异常。严重: Servlet.service() for.....
分类:
其他好文 时间:
2015-12-15 20:55:46
阅读次数:
2494
下载http://git.oschina.net/wltea/IK-Analyzer-2012FF 解压之后将dist/IKAnalyzer2012FF_u1.jar复制到tomcat的solr的lib文件夹下 将IKAnalyzer.cfg.xml和stopword.dic复制到solr/home的collection1\conf文件夹下...
分类:
其他好文 时间:
2015-11-06 00:23:14
阅读次数:
222
1、拷贝IKAnalyzer.cfg.xml到WEB-INF/classes下,IKAnalyzer.cfg.xml内容如下: <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> ? <propertie...
分类:
其他好文 时间:
2015-09-06 13:13:34
阅读次数:
352
分词器对英文的支持是非常好的。 一般分词经过的流程: 1)切分关键词 2)去除停用词 3)把英文单词转为小写 但是老外写的分词器对中文分词一般都是单字分词,分词的效果不好。 国人林良益写的IK Analyzer应该是最好的Lucene中文分词器之一,而且随着Lucene的版本更新而不断更...
分类:
Web程序 时间:
2015-08-16 10:43:15
阅读次数:
445
当我们使用中文分词器的时候,其实也希望它能够支持对于英文的分词。试想,任何一个存储文字的字段都有可能是中英文夹杂的。
我们的项目中使用IKAnalyzer作为中文分词器,它在处理文档过程中遇到英文时,利用空格和标点将英文单词取出来,同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了,只有一墙之隔:词干提取。一个真正的英文分词器除了...
分类:
其他好文 时间:
2015-08-12 13:18:15
阅读次数:
1638