public static void search(String indexDir,String q)throws Exception{ Directory dir=FSDirectory.open(Paths.get(indexDir)); IndexReader reader=Directory... ...
分类：
Web程序 时间：
2017-04-23 13:19:27
阅读次数：
198
在进行中文分词统计前，往往要先把爬取下来的文本中包含的一些标签、标点符号、英文字母等过滤掉，这一过程叫做数据清洗。 通过上面的代码可以去除与中文分词统计无关的内容，效果如下： ...
分类：
Web程序 时间：
2017-04-22 00:04:27
阅读次数：
182
cppjieba分词包主要提供中文分词、关键词提取、词性标注三种功能 一、分词 cppjieba分词用的方法是最大概率分词（MP）和隐马尔科夫模型（HMM），以及将MP和HMM结合成的MixSegment分词器。除此之外，cppjieba支持三种模式的分词： 精确模式，试图将句子最精确地切开，适合文 ...
分类：
其他好文 时间：
2017-04-14 23:46:05
阅读次数：
781
1、在mvnrepository里面找IKAnalyzer，这个中文分词包，一直没有找到，找到github，发现是一个国人写的。 http://mvnrepository.com/search?q=IKAnalyzer 2、转换成maven包，安装到本地。找到有现成的mavenproject，拿来主 ...
分类：
其他好文 时间：
2017-04-14 09:45:02
阅读次数：
202
1.添加中文分词配置： 首先，添加红色部分代码，表示如果字段类型是text_ik，是采用中文分词，在建立索引的时候，采用细分，因为建立索引要尽可能的细，在查询的时候，是智能分。 同时，在文件的前面，加上这段配置，表示对问题的内容和标题建立索引的时候，是采用中文分词： ...
分类：
其他好文 时间：
2017-04-13 20:13:19
阅读次数：
174
主要列出现知道的几个工具： 1，scws中文分词支持php7 http://www.xunsearch.com/scws/index.php 2，phpanalysis中文分词，主要使用了机械分词方法 http://www.phpbone.com/phpanalysis/ 3，结巴中文分词（Pyth ...
分类：
Web程序 时间：
2017-04-13 14:54:21
阅读次数：
239
Elasticsearch 系列导航 elasticsearch 与 elasticsearch-head 的安装 ElasticSearch Index API && Mapping 在ElasticSearch中使用 IK 中文分词插件 ElasticSearch 基本概念 Nest客户端的基本 ...
分类：
其他好文 时间：
2017-04-08 22:55:48
阅读次数：
2015
使用Lucene 6.0对文本进行中文分词，然后使用MapReduce构建倒排索引，统计文档频率和总的词项频率
分类：
其他好文 时间：
2017-04-04 23:45:48
阅读次数：
301
我这里集成好了一个自带IK的版本，下载即用， https://github.com/xlb378917466/elasticsearch5.2.include_IK 添加了IK插件意味着你可以使用ik_smart（最粗粒度的拆分）和ik_max_word（最细粒度的拆分）两种analyzer。 你也 ...
分类：
其他好文 时间：
2017-04-04 12:48:58
阅读次数：
289
Solr6.5配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer ...
分类：
其他好文 时间：
2017-04-02 15:13:17
阅读次数：
385
