码迷,mamicode.com
首页 > Windows程序 > 详细

Windows使用Ik分词器插件

时间:2020-05-26 01:20:54      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:自己的   arc   ref   info   需要   技术   中国人   信息   github   

IK分词器插件

什么是Ik分词器?

分词:即把一段中文或者别的划分成一个个关键字,我们在搜索的的时候回把自己的信息进行分词,回把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词。

Ik分词器两种分词模式:

  • ik_max_word: 会将文本做最细粒度的拆分,比如会将"中华人民共和国国歌"拆分为"中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌",会穷尽各种可能的组合;

  • ik_smart: 会做最粗粒度的拆分,比如会将"中华人民共和国国歌"拆分为"中华人民共和国,国歌"。

安装

下载安装 https://github.com/medcl/elasticsearch-analysis-ik/releases ,解压到 elasticsearch下的plugin目录,重启加载即可,可以看到Ik分词器被加载了。

技术图片

可以通过 elasticsearch-plugin 命令查看加载进来的插件:

技术图片

在Kibana中使用分词器

GET _analyze
{
  "analyzer": "ik_smart",
  "text": ["我是中国人"]
}


GET _analyze
{
  "analyzer": "ik_max_word",
  "text": ["我是中国人"]
}

查看不同的分词效果,其中 ik_smart 为最少分词效果

技术图片

ik_max_word 为最细粒度划分!穷尽词库的可能!

技术图片

问题:

我们输入 “我很喜欢敲代码“,发现 ”敲代码“ 三个字被拆开了。

技术图片

类似这种需要的次,我们需要自己加入到我们的分词字典当中!

技术图片

保存完成之后重启 Es和Kibana 访问即可!

Windows使用Ik分词器插件

标签:自己的   arc   ref   info   需要   技术   中国人   信息   github   

原文地址:https://www.cnblogs.com/leizzige/p/12961820.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!