需求：爬取哔哩哔哩网页弹幕内容,并将爬取的内容以五角星的形式显示出来 思路： 实现： 使用到的类库,如果没有,需要下载，下载命令： 知识点： request 向对方服务器发送请求 BeautifulSoup 解析爬取的弹幕内容 pandas 分析弹幕数据 jieba 中文分词器,或称为中文词组切片器 ...
分类：
Web程序 时间：
2019-10-28 20:51:02
阅读次数：
147
一、下载安装Apache Solr 8.2.0 下载地址：http://lucene.apache.org/solr/downloads.html 因为是部署部署在windows系统上，所以下载zip压缩包即可。 下载完成后解压出来。 二、启动solr服务 进入solr-7.3.0/bin目录： S ...
分类：
其他好文 时间：
2019-09-27 18:56:22
阅读次数：
187
分词器是用来实现分词的，从一串文本当中切分出一个一个的单词（词条），并对每个词条进行标准化处理（大小写、单复数、同义词等转换）。分词器包括3部分： 1、character filter：分词之前的预处理，过滤掉html标签，特殊符号转换等。 2、tokenizer：分词， 3、token filte ...
分类：
其他好文 时间：
2019-08-24 18:20:07
阅读次数：
83
一、前言 为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。 二、IK分词器的安装和使用 2.1、安装ik 我们可以从官方github上下载该插件，我们下载对应于我们使用的e ...
分类：
其他好文 时间：
2019-08-21 00:03:11
阅读次数：
114
1，下载插件压缩包（本地测试建议用迅雷下，生产用的绝对不要用迅雷下），链接地址：https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.3.0 2，在 elasticsearch-7.3.0\plugins 目录下新建一个 ...
它在哪里呢？ 非常重要！ [hadoop@HadoopMaster custom]$ pwd/home/hadoop/app/elasticsearch 2.4.3/plugins/ik/config/custom[hadoop@HadoopMaster c ...
分类：
其他好文 时间：
2019-04-15 18:10:12
阅读次数：
180
下载ik分词器，由于是solr8.0，一些ik分词器版本可能不兼容，以下是个人亲测可行的版本 链接：https://pan.baidu.com/s/1_Va-9af-jMcqepGQ9nWo3Q 提取码：0a3y 然后将解压出来的两个jar包放到以下路径： 其它的三个文件放到以下路径： 如果没有cl ...
分类：
其他好文 时间：
2019-04-06 17:19:38
阅读次数：
136
之前版本的long需要改为plong，配置文件为managed-schema。 修改配置文件后，需要重新启动tomcat。 ...
分类：
其他好文 时间：
2019-02-20 10:00:45
阅读次数：
197
1、ES9300端口号与9200区别2、Elasticsearch倒排索引原理3、Elasticsearch高级查询4、ElasticsearchIK分词器原理5、ElasticsearchIK中文分词器6、IK自定义中文词典热词7、Elasticsearch Mapping映射 1.区别： 930 ...
分类：
其他好文 时间：
2019-01-21 01:10:28
阅读次数：
161
