在上一章中,我们已经能够通过spring boot来使用Elasticsearch,但是由于我们习惯性的将数据写入mysql,所以为了解决之一问题,Elasticsearch为我们提供了一个插件logstash来同步我们的数据库。本文所有的安装环境和使用环境都是在windows系统下进行的。 一、l ...
分类:
数据库 时间:
2018-12-28 14:36:49
阅读次数:
302
filebeat的环境搭建 修改配置文件 启动 借鉴https://www.cnblogs.com/xishuai/p/elk-elasticsearch-kibana-logstash-filebeat-log4j2.html ...
分类:
其他好文 时间:
2018-12-27 20:19:18
阅读次数:
282
前两节已经成功完成ek的搭建,还剩最后的一个日志上传的功能 依次执行如下命令 创建配置文件 启动 ...
分类:
其他好文 时间:
2018-12-27 18:27:30
阅读次数:
424
1.下载和elasticsearch 相同版本的logstash. 2.进行解压后,进入bin下,新建一个文件mysql.conf,并输入 input { stdin{ }} output { stdout{ }} 3.cmd进入bin 下,输入logstash -f mysql.conf 启动后, ...
分类:
数据库 时间:
2018-12-27 15:22:24
阅读次数:
137
海量日志下的日志架构优化:filebeat+logstash+kafka+ELK
分类:
其他好文 时间:
2018-12-24 00:19:25
阅读次数:
506
首先安装,这里采用rpm安装: 创建repo文件: 在yum install logstash之前确保已经安装了jdk,也就是确保有java环境: 查看logstash的配置文件: ...
分类:
其他好文 时间:
2018-12-23 22:08:38
阅读次数:
191
Filebeat是一个轻量级的托运人,用于转发和集中日志数据。Filebeat作为代理安装在服务器上,监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理:启动Filebeat时,它会启动一个或多个输入,这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志,Filebeat启动一个收集器。
分类:
其他好文 时间:
2018-12-21 13:04:27
阅读次数:
251
Logstash 是一个开源的数据收集引擎,它具有备实时数据传输能力。它可以统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。它以插件的形式来组织功能,通过配置文件来描述需要插件做什么,配置文件主要由input、filter和output三部分组成。 一、input 负责从数据源提取数 ...
分类:
其他好文 时间:
2018-12-20 17:04:12
阅读次数:
225
\ 自动安装数据库脚本root密码MANAGER将脚本和安装包放在/root目录即可 \ 数据库目录/data/mysql \ 数据目录/data/mysql \ 慢日志目录/data/slowlog \ 端口号默认3306其余参数按需自行修改 \ \ \ !/bin/bash \ Check if ...
分类:
数据库 时间:
2018-12-18 12:09:44
阅读次数:
237
###### 自动安装数据库脚本root密码MANAGER将脚本和安装包放在/root目录即可#####################数据库目录/data/mysql##################数据目录/data/mysql/data##################慢日志目录/data ...
分类:
数据库 时间:
2018-12-17 20:10:16
阅读次数:
162