由于HAProxy的运行信息不写入日志文件,但它依赖于标准的系统日志协议将日志发送到远程服务器(通常位于同一系统上),所以需要借助rsyslog来收集haproxy的日志.haproxy代理nginx的访问,使用logstash收集nginx的访问信息. 1.安装配置haproxy 2.准备hapr ...
分类：
其他好文 时间：
2019-02-08 18:27:09
阅读次数：
229
logstash输出到mysql logstash版本：6.5.3，确保 JDK 的版本是 1.8 1 安装logstash-output-jdbc /usr/share/logstash/bin/logstash-plugin install logstash-output-jdbc 2 JDBC ...
分类：
数据库 时间：
2019-01-31 01:36:40
阅读次数：
375
Centos7+kafka+ELK6.5.x安装搭建 1 数据的流向 数据源端使用logstash收集udp 514日志输出到kafka中做测试（可选择filebeat，比较轻量级、对CPU负载不大、不占用太多资源；选择rsyslog对 kafka的支持是 v8.7.0版本及之后版本）。如下流程： ...
分类：
其他好文 时间：
2019-01-31 01:30:53
阅读次数：
298
前言 Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实Beats 和 Logstash的功能差不多，都能够与 Elasticsearch 产生协同作用，而且 logstash比filebeat功能更强大一点，2个都使用是因为：Beats 是 ...
分类：
其他好文 时间：
2019-01-28 13:55:25
阅读次数：
528
需求 kafka中的message带有key，带有相同key值的message后入kafka的意味着更新message，message值为null则意味着删除message。 用logstash来同步kafka中这样的数据入Elasticsearch，从而实现可以同步增删改数据。 环境 解决(Log ...
分类：
其他好文 时间：
2019-01-24 21:54:28
阅读次数：
452
ELK提供了一系列采集方案。但对于从app端过来的日志，没有接收模块。一种方案可以用logstash打开socket端口接收，需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集，发送日志到kafka。也可以直接写文件，用fileBeat读取发送到kafka。从ka ...
分类：
其他好文 时间：
2019-01-24 17:56:53
阅读次数：
128
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。 1、logstash基本语法组成 logstash主要由三部分组成：input、filter、output。而filter就是过滤器 ...
分类：
其他好文 时间：
2019-01-22 15:08:46
阅读次数：
246
Docker的Remote Api并不是1.12才有的，Docker1.12的Remote Api升到了1.24。Remote api的使用在1.12中没有大的变化，稍微大一点的变化是到这个版本之后，二进制文件分裂成了主client的docker以及主server的dockerd了。在centos上 ...
下载logstash-6.5.4 ZIP解压和es 放到es根目录下 下载mysql jdbc的驱动 mysql-connector-java-8.0.12 创建配置文件 mysqltoes.conf 放在logstash-6.5.4\bin目录下 input { stdin { } jdbc { ...
分类：
数据库 时间：
2019-01-18 18:33:43
阅读次数：
645
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
