logstash pipeline 包含两个必须的元素：input和output，和一个可选元素：filter。 从input读取事件源，（经过filter解析和处理之后），从output输出到目标存储库（elasticsearch或其他）。 在生产环境使用logstash，一般使用都将配置写入文件 ...
分类：
其他好文 时间：
2019-06-16 13:17:46
阅读次数：
375
4. 安装JDK8、MySQL5.6驱动以及Logstash -6.0.0ECS中分别安装JDK8、MySQL5.6驱动以及Logstash -6.0.0。如下图：安装Logstash input、output插件，此案例数据输入是MySQL，输出是ES，so相应的插件应该是logstash-inp ...
分类：
数据库 时间：
2019-06-13 14:06:28
阅读次数：
1568
[2019-06-10T06:52:51,610][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", " ...
分类：
其他好文 时间：
2019-06-11 10:56:26
阅读次数：
494
ELK（elasticsearch、logstash、kibana）可以作为日志收集及分析的一整套系统，通过阿里的普及也有越来越多的公司在使用，使用下来功能还可以，这里整理记录一个部署手册。 为了方便，将ELK都部署在一台os里。 一、环境准备 操作系统：centos7（CentOS-7-x86_6 ...
分类：
其他好文 时间：
2019-06-06 19:26:45
阅读次数：
101
想用filebeat读取项目的日志，然后发送logstash。logstash官网有相关的教程，但是docker部署的教程都太简洁了。自己折腾了半天，走了不少坑，总算是将logstash和filebeat用docker部署好了，这儿简单记录一下 部署logstash 1. 编写logstash配置文 ...
分类：
其他好文 时间：
2019-06-05 21:41:49
阅读次数：
121
include_tag_key true tag_key @log_name logstash_format true logstash_prefix ${tag} 这几个参数的具体意思是？ ...
分类：
其他好文 时间：
2019-06-05 18:08:21
阅读次数：
101
参考：https://www.cnblogs.com/xiami-xm/p/8929163.html 当zabbix添加触发器后触发告警后可以设置发送邮件及短信告警，但是恢复故障需要运维人员收到告警以后手动恢复，可以设置触发器出现告警自动触发调用启动脚本实现简单的自愈功能 本文只涉及触发主机的脚本功 ...
分类：
其他好文 时间：
2019-06-05 11:27:57
阅读次数：
786
09-5.部署 EFK 插件 EFK 对应的目录：kubernetes/cluster/addons/fluentd-elasticsearch $ cd /opt/k8s/kubernetes/cluster/addons/fluentd-elasticsearch $ ls *.yaml es- ...
分类：
其他好文 时间：
2019-06-05 00:45:18
阅读次数：
144
下载 建议到官网下载最新版https://www.elastic.co/cn/downloads/logstash本文使用logstash7.0.0https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz wget h ...
分类：
其他好文 时间：
2019-05-27 16:29:05
阅读次数：
154
filebeat:
prospectors:
# - #每个日志文件的开始
# paths: #定义路径
# - /var/www/logs/access.log #绝对路径
# input_type: log #日志类型为log
# document_type: api4-nginx-accesslog # 此名称要与logstash定义的名称相对应，logstash要使用此名称做type判断使用
-
paths:
- /opt/apps/huhu/logs/ase.log
input_type: log
document_type: "ase-ase-log"
encoding: utf-8
tail_files: true #每次最后一行
multiline.pattern: ‘^\[‘ #分割符
multiline.negate: true
multiline.match: after #最后合并
分类：
其他好文 时间：
2019-05-23 15:46:34
阅读次数：
137
