input { stdin{ } elasticsearch { hosts => ["http://127.0.0.1:9200"] user => "admin" index => "*" password => "admin" #设置为true，将会提取ES文档的元数据信息，例如index、t ...
分类：
其他好文 时间：
2020-09-17 21:46:29
阅读次数：
33
elastic.co 一、什么是搜索？ 通过一个关键词或一段描述，得到你想要的（相关度高）结果 二、如何实现搜索功能？ 关系型数据库：性能差、不可靠、结果不准确（相关度很低） 使用mysql数据库时，建立索引会加快查询效率（索引会对字段进行排序） 但若使用模糊查询：select * from emp ...
分类：
其他好文 时间：
2020-09-17 20:56:49
阅读次数：
39
Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
注意：这种方式报警采用的是邮件方式，并不包含微信报警方式，因为采用的是国外的docker镜像，主要作用是在kibana中安装配置插件，图形化配置rule告警规则，其实就跟直接编辑告警规则类似 1.创建几个文件夹保存ElastAlert相关配置信息，用来挂载到容器中使用 mkdir -p /mnt/e ...
分类：
其他好文 时间：
2020-09-17 17:25:36
阅读次数：
38
什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为e ...
分类：
其他好文 时间：
2020-09-17 15:51:53
阅读次数：
26
导入包 <dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> <version>5.2.2</version> </dependency> ...
分类：
编程语言 时间：
2020-09-17 13:51:34
阅读次数：
51
直接上代码 package com.iflytek.jtcn.service.impl; import org.elasticsearch.client.Client; import java.io.BufferedReader; import java.io.FileReader; import ...
分类：
编程语言 时间：
2020-09-15 21:22:25
阅读次数：
38
一、elasticsearch - 分析过程 前言 现在，我们已经了解了如何建立索引和搜索数据了。 那么，是时候来探索背后的故事了！当数据传递到elasticsearch后，到底发生了什么？ 分析过程 当数据被发送到elasticsearch后并加入到倒排索引之前，elasticsearch会对该文 ...
分类：
其他好文 时间：
2020-09-12 21:49:09
阅读次数：
50
一、elasticsearch之相关配置 前言 在elasticsearch\config目录下，有三个核心的配置文件： elasticsearch.yml，es相关的配置。 jvm.options，Java jvm相关参数的配置。 log4j2.properties，日志相关的配置，因为es采用了 ...
分类：
其他好文 时间：
2020-09-12 21:48:34
阅读次数：
36
搜索引擎三大过程 爬取内容、进行分词、建立倒排索引。 分词器 分词器使用IK，通常为了保证索引时覆盖度和搜索时准确度,索引分词器采用ik_max_word,搜索分析器采用ik_smart模式。可在IK的配置文件中配置自定义的词典、停词词典。 倒排索引 Elasticsearc依赖Lucene建立倒排 ...
分类：
其他好文 时间：
2020-09-07 19:19:25
阅读次数：
60
