安装环境系统 :centos7软件信息:lasticsearch-6.6.2.rpmjdk-8u131-linux-x64_.rpmkibana-6.6.2-x86_64.rpmlogstash-6.6.0.rpm提醒信息请提前写配置文件,并保证配置文件与脚本处于同一目录内以及四个安装包脚本代码#!... ...
分类:
系统相关 时间:
2020-06-28 22:22:58
阅读次数:
99
因日志产生多了,或者数据多了,导致硬盘满了,没及时清理。 elasticsearch 在程序连接后,提示无法连接问题。 解决: 1、清理掉多余日志。或文件信息。 2、修改索引,让其能够重新写入。 其中: 索引名称 china_index 用户名密码 ,没有的情况下可以不写 -u elastic:el ...
首先下载包解压啥的就不说了 其次,要修改config目录下的jvm.options 将堆和栈的内存修改按照系统的大小调整,如果充足改为各30G最好 然后改 elasticsearch.yml 允许所有节点访问network.ip 0.0.0.0 修改数据目录和日志存放目录 然后再修改 /etc/sy ...
分类:
其他好文 时间:
2020-06-28 15:10:45
阅读次数:
66
目录 ignore_above 返回elasticsearch目录 ignore_above#top 长度超过ignore_above设置的字符串将不会被索引或存储(个人认为会存储,但不会为该字段建立索引,也就是该字段不能被检索)。 对于字符串数组,ignore_above将分别应用于每个数组元素, ...
分类:
移动开发 时间:
2020-06-27 15:55:57
阅读次数:
53
一、基础配置 依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> 客户端配置 ...
分类:
编程语言 时间:
2020-06-27 11:22:15
阅读次数:
82
需求:采集8类日志数据,并且进入es展示: 方案制定:目前数据采集通用flume+kafka模式,所以采用原有模式,一类服务进入一个topic,然后通过logstash进行数据清洗,最后进入es进行展示。 flume采用tadir 读取数据源,memory 进行缓存,kafka进行sink a1.s ...
分类:
Web程序 时间:
2020-06-26 22:29:32
阅读次数:
81
1、避免深分页操作 es是一个搜索引擎,所以如果用这个搜索引擎对大量的数据进行搜索,并且返回搜索结果中排在最前面的少数结果,是非常合适的。 类似于后台下载功能,如果要做成类似数据库的东西,每次都进行大批量的查询,是很不合适的。如果真的要做大批量结果的查询,记得考虑用scroll api。 2、避免业 ...
分类:
其他好文 时间:
2020-06-26 20:34:36
阅读次数:
64
在学习springboot-vue前后端分离项目过程中, 需要很多中间件和工具来架构好项目。这就使得每次开始就要打开控制台运行redis、elasticsearch、rabbitMQ等十分麻烦, 我就寻思着十分可以用.bat批量一次性执行所有任务, 折腾个把小时后找到了办法。 ...
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心,它负责对日志数据进行分析、索引等重要工作; Logstash 则主要用于对日志数据进行初步 ...
分类:
其他好文 时间:
2020-06-26 18:13:31
阅读次数:
74