环境: 原elasticsearch版本:6.5.0 目的elasticsearch 版本:7.4.0 1.下载logstash 我这里下载的是6.8.5版本 https://artifacts.elastic.co/downloads/logstash/logstash-6.8.5.tar.gz ...
分类:
其他好文 时间:
2020-08-06 20:41:31
阅读次数:
69
apiVersion: policy/v1beta1 kind: PodDisruptionBudget metadata: name: elasticsearch-pdb namespace: test spec: selector: matchLabels: app: elasticsearch ...
分类:
其他好文 时间:
2020-08-06 13:10:25
阅读次数:
74
1、部署elaseticsearch 1.1、docker下载 docker pull elasticsearch docker images mkdir -p /usr/local/elasticsearch/{config,logs/{node0,node1,node2},data/{node0 ...
分类:
其他好文 时间:
2020-08-05 00:02:07
阅读次数:
75
上次装的elasticsearch-head-master辅助ElasticSearch可视化工具,虽然使用起来挺方便,但是还是过于简单,并且界面看起来不是很友好。这次要说的是Kibana可视化工具要比elasticsearch-head-master界面友好很多。不多说了,下面就介绍Kibana如 ...
分类:
其他好文 时间:
2020-08-04 16:42:22
阅读次数:
80
每个人都会犯错,别再让相同的错误一再发生,别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的,而是印在心上的。我们别无选择,清单,正在一步步变革我们的生活,变革这个复杂的世界......——[美]阿图-葛尔德《清单革命》01Elasticsearch基础认知死磕Elasticsearch方法论:普通程序员高效精进的10大狠招!Elasticsearch学习,请先看这一篇!严选|ELKStack
分类:
其他好文 时间:
2020-08-03 09:47:46
阅读次数:
84
1、应用场景实时数据流通过kafka后,根据业务需求,一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。如下图所示:业务系统的分层结构可分为:接入层、数据处理层、数据存储层、接口层。那么问题来了?我们需要基于聚合(数据处理层)的结果实现检索和聚合分析操作,如何实现更快的检索和更高效
分类:
其他好文 时间:
2020-08-03 09:46:14
阅读次数:
76
0、需求随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的累积成为日常需求。如何以相对简单的图形化效果展示数据的增量呢?本文给出思路和实现。1、问题分解1.1ES集群的数据量统计ES自带的命令行统计举例:curl‘localhost:9200/_cat
分类:
其他好文 时间:
2020-08-03 09:45:38
阅读次数:
81
1、聚合为什么慢?大多数时候对单个字段的聚合查询还是非常快的,但是当需要同时聚合多个字段时,就可能会产生大量的分组,最终结果就是占用Elasticsearch大量内存,从而导致OOM的情况发生。实践应用发现,以下情况都会比较慢:1)待聚合文档数比较多(千万、亿、十亿甚至更多);2)聚合条件比较复杂(多重条件聚合);3)全量聚合(翻页的场景用)。2、聚合优化方案探讨优化方案一:默认深度优先聚合改为广
分类:
其他好文 时间:
2020-08-03 09:45:09
阅读次数:
79
1、问题抛出某个词组在Elasitcsearch中的某个document中存在,就一定通过某种匹配方式把它搜出来。举例:title=公路局正在治理解放大道路面积水问题。输入关键词:道路,能否搜索到这个document呢?实际应用中可能需要:1)检索关键词”理解”、”解放”、”道路”、“理解放大”,都能搜出这篇文档。2)单个的字拆分“治”、“水”太多干扰,不要被检索出来。3)待检索的词不在词典中,也
分类:
其他好文 时间:
2020-08-03 09:44:26
阅读次数:
101