Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词。例如： curl?-XPOST??"http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text=我是中国人" 我们...
分类：
其他好文 时间：
2015-09-16 12:54:45
阅读次数：
227
1、拷贝IKAnalyzer.cfg.xml到WEB-INF/classes下，IKAnalyzer.cfg.xml内容如下： <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> ? <propertie...
分类：
其他好文 时间：
2015-09-06 13:13:34
阅读次数：
352
由于ik没有歧义分词的功能，打算用anjs 对前端传递过来的数据用anjs进行分词anjs 操作文档官网地址：http://nlpchina.github.io/ansj_seg/刚刚开始由于jar包问题折腾了一会，所以将jar 共享出来jar 包下载地址：http://yunpan.cn/cmuT...
分类：
Web程序 时间：
2015-09-01 19:53:00
阅读次数：
189
IK分词源码下载地址：https://code.google.com/p/ik-analyzer/downloads/listlucene源码下载地址：http://www.eu.apache.org/dist/lucene/java/下载IK分词源码后，运行出现错误提示：Analyzer cann...
分类：
其他好文 时间：
2015-08-31 16:38:31
阅读次数：
554
工作上，有需要对纯数字的字符串做分词，好像CJK二元分词器对这样的数字不会做分词，所以自己写了个分词器，分词器达到以下效果：对字符串"哈哈1234呵呵456"，分词后为：1 12 123 1234 4 45 456 Analyzer： pack...
分类：
其他好文 时间：
2015-08-27 15:32:41
阅读次数：
303
分词器对英文的支持是非常好的。 一般分词经过的流程： 1）切分关键词 2）去除停用词 3）把英文单词转为小写 但是老外写的分词器对中文分词一般都是单字分词，分词的效果不好。 国人林良益写的IK Analyzer应该是最好的Lucene中文分词器之一，而且随着Lucene的版本更新而不断更...
分类：
Web程序 时间：
2015-08-16 10:43:15
阅读次数：
445
当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。
我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了，只有一墙之隔：词干提取。一个真正的英文分词器除了...
分类：
其他好文 时间：
2015-08-12 13:18:15
阅读次数：
1638
工作上，有需要对纯数字的字符串做分词，好像CJK二元分词器对这样的数字不会做分词，所以自己写了个分词器，分词器达到以下效果：对字符串1234567，分词后为：12 34 56 7 Analyzer： package?org.apache.lucene...
分类：
Web程序 时间：
2015-08-08 18:32:04
阅读次数：
198
Lucene 5.2.1 + jcseg 1.9.6中文分词索引(Lucene 学习序列2)
jcseg是使用Java开发的一个开源的中文分词器，使用流行的mmseg算法实现。是一款独立的分词组件，不是针对lucene而开发，
但是提供了最新版本的lucene和solr分词接口。...
分类：
Web程序 时间：
2015-07-31 18:27:39
阅读次数：
288
Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词，比如我们更希望 “中国人”，“中国”，“我”这样的分词，因此需要安装中文分词插件IK来实现此功能。elasticsearch-analysis-ik 是一款中文的分词插件，支持自定义词库，具体安装步骤如下...
分类：
其他好文 时间：
2015-07-29 22:52:23
阅读次数：
194
