IK Analyzer是基于lucene实现的分词开源框架，下载路径:http://code.google.com/p/ik-analyzer/downloads/list 需要在项目中引入： IKAnalyzer.cfg.xml IKAnalyzer2012.jar lucene-core-3.6 ...
分类：
其他好文 时间：
2018-05-23 14:56:13
阅读次数：
174
Lucene-分词器API org.apache.lucene.analysi.Analyzer 分析器，分词器组件的核心API，它的职责：构建真正对文本进行分词处理的TokenStream（分词处理器）。通过调用它的如下两个方法，得到输入文本的分词处理器。 TokenStreamComponent ...
分类：
Web程序 时间：
2018-05-20 20:12:17
阅读次数：
196
当搜索关键词大于最小分词器的时候，需要分词才能搜索 1.查询解析器：QueryParser 用法：QueryParser queryParser = new QueryParser("title", new IKAnalyzer()); 特点：只能对单个域进行搜索2.多自字段匹配查询解析器 用法：M ...
一、Lucene提供的分词器StandardAnalyzer和SmartChineseAnalyzer 1.新建一个测试Lucene提供的分词器的maven项目LuceneAnalyzer 2. 在pom.xml里面引入如下依赖 3. 新建一个标准分词器StandardAnalyzer的测试类Luc ...
分类：
Web程序 时间：
2018-05-05 12:34:28
阅读次数：
201
logstash-input-jdbc学习 ES(elasticsearch缩写)的一大优点就是开源，插件众多。所以扩展起来非常的方便，这也造成了它的生态系统越来越强大。这种开源分享的思想真是与天朝格格不入啊。国内的开源社区做了也很长时间，可是也没出现什么拿的出手的东西，可能只还有阿里比较注重分享一 ...
分类：
其他好文 时间：
2018-04-30 13:41:00
阅读次数：
177
原文：http://blog.java1234.com/blog/articles/373.html elasticsearch安装中文分词器插件smartcn elasticsearch默认分词器比较坑，中文的话，直接分词成单个汉字。 我们这里来介绍下smartcn插件，这个是官方推荐的，中科院搞 ...
分类：
其他好文 时间：
2018-04-28 11:41:21
阅读次数：
180
第一步下载分词器https://pan.baidu.com/s/1X8v65YZ4gIkNQXsXfSULBw 第二歩打开已经解压的ik分词器文件夹 将ik-analyzer-solr5-5.x.jar,IKAnalyzer.cfg.xml复制到 apache-tomcat-8.5.24\webap ...
分类：
其他好文 时间：
2018-04-21 17:41:42
阅读次数：
185
使用IKAnalyzer 中文分析器。. 第一步: 把,IKAnalyzer2012FF_u1j 添加到sol/WEB-INF/lib 目录下。 第二步: 复制IKAnalyzer 的配置文件和自定义词典和停用词词典到solr 的classpath （classes），即solr\WEB-INF\c ...
分类：
Web程序 时间：
2018-04-03 10:54:31
阅读次数：
201
前言 在lucene中虽然已经提供了许多的分词器：StandardAnalyzer、CJKAnalyzer等，但在解析中文的时候都会把文中拆成一个个的单子。 毕竟老外不懂中文。这里介绍一个中文的分词器：IKAnalyre。虽然在其在分词的时候还不够完美 例如：将“高富帅，是2012年之后才有的词汇” ...
分类：
Web程序 时间：
2018-03-30 16:21:19
阅读次数：
198
一、全文检索基础 1、信息源 --> 分词器 --> 建立索引库 2、文本在建立索引和搜索的时候，都会先进行分词 3、索引库的结构 索引表：存放具体词汇，哪些词汇在哪些文档里面存储。索引表里面存储的就是分词器分词之后的结果 数据源：文本信息集合 4、用户搜索时，首先经过分词器进行分词，然后去索引表里 ...
分类：
其他好文 时间：
2018-03-27 01:58:04
阅读次数：
213
