公司刚上elk，filebeat----logstash----elasticsearch这种架构，目前nginx每天日志量不到100w,所以没有添加消息队列。进行测试的时候发现：每次重启logstash或者elasticsearch（模拟异常或者停机维护）,日志会有重复采集的情况。脚本测试每秒写入1000条日志到一个文件（filebeat进行采集），持续时间120s;测试了3-4次，每次重启lo
分类：
其他好文 时间：
2018-03-27 23:02:10
阅读次数：
490
ELK 6安装配置 nginx日志收集 kabana汉化 环境 centos 7.4 ,ELK 6 ,单节点 服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 Kibana 可视化 客户端 filebeat 监控、转发,作为agent filebeat Logstas ...
分类：
其他好文 时间：
2018-03-26 22:25:42
阅读次数：
1916
可以使用命令直接定义input{udp{...type=>"foo"}file{...type=>"bar"}}output{if[type]=="foo"{elasticsearch{...index=>"foo-index"}}else{elasticsearch{...index=>"bar-index"}}}
分类：
其他好文 时间：
2018-03-26 10:46:21
阅读次数：
147
ElasticSearch + Logstash + kibana 1、介绍： Logstash：搬运工 ElasticSearch：搜索引擎 Kilbana：可视化系统 ...
分类：
其他好文 时间：
2018-03-23 22:58:12
阅读次数：
227
logstash处理mysql中datetime数据类型
分类：
数据库 时间：
2018-03-23 14:10:05
阅读次数：
345
>> from zhuhaiqing.info ...
分类：
其他好文 时间：
2018-03-23 11:48:29
阅读次数：
211
应用场景：ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构， 很多公司利用它来搭建可视化的海量日志分析平台。 官网下载地址：https://www.elastic.co/downloads Elastics ...
分类：
其他好文 时间：
2018-03-22 12:39:02
阅读次数：
578
情景1、@timestamp时间使用的是utc时间，要将@timestamp时间转换成本地date时间。方法：在filter里面加上这段代码即可修改。ruby{code=>"event.timestamp.time.localtime"}加上以后再看@timestamp就是我所需要的系统时间。情景2、将@timestamp变成日志文件中日志产生的时间，log_timestamp是日志文件中的
分类：
其他好文 时间：
2018-03-22 12:38:55
阅读次数：
2698
本文收录在Linux运维企业架构实战系列 做了几周的测试，踩了无数的坑，总结一下，全是干货，给大家分享~ 一、elk 实用知识点总结 1、编码转换问题（主要就是中文乱码） （1）input 中的codec => plain 转码 将GB2312 的文本编码，转为UTF-8 的编码 （2）也可以在fi ...
分类：
其他好文 时间：
2018-03-21 11:42:14
阅读次数：
283
每次有新服务器上线的时候我们需要采集日志信息涉及到各种配置： rsyslog客户端 rsyslog中继服务器 rsyslog服务器 logstash-shipper 如果手动配置的话工作量较大，而且容易出错。写了个脚本以便快速部署。 文件结构如下 执行log-make.sh将询问操作内容，1为创建配 ...
分类：
其他好文 时间：
2018-03-17 12:15:51
阅读次数：
216
