elk + kafka + nginx 企业中的应用
分类：
其他好文 时间：
2018-03-30 12:26:13
阅读次数：
767
一、起因?在使用ELK5.5的时候，如果遇到需要在同一台机器上收集不同类型的日志，比如：同时收集一台机器上的javalog和nginxlog！而又需要分别存储到不同索引的时候，我们会在filebeat的prospectors里面配置document_type类型，然后在logstash里面使用if[type]=="string"来匹配，针对不同的判断做不同的处理。&e
分类：
其他好文 时间：
2018-03-28 16:43:43
阅读次数：
331
公司刚上elk，filebeat----logstash----elasticsearch这种架构，目前nginx每天日志量不到100w,所以没有添加消息队列。进行测试的时候发现：每次重启logstash或者elasticsearch（模拟异常或者停机维护）,日志会有重复采集的情况。脚本测试每秒写入1000条日志到一个文件（filebeat进行采集），持续时间120s;测试了3-4次，每次重启lo
分类：
其他好文 时间：
2018-03-27 23:02:10
阅读次数：
490
ELK 6安装配置 nginx日志收集 kabana汉化 环境 centos 7.4 ,ELK 6 ,单节点 服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 Kibana 可视化 客户端 filebeat 监控、转发,作为agent filebeat Logstas ...
分类：
其他好文 时间：
2018-03-26 22:25:42
阅读次数：
1916
ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
分类：
其他好文 时间：
2018-03-23 15:26:39
阅读次数：
252
主要filebeat配置：#采集器filebeat.prospectors:input_type:logpaths:/var/log/rsyncd.loginput_type:logpaths:/var/log/messagesfields:syslog:messagesfields_under_root:true#输出到es配置output.elasticsearch:hosts:["
分类：
其他好文 时间：
2018-03-16 19:36:59
阅读次数：
644
架构 上图为http://www.cnblogs.com/delgyd/p/elk.html#3656833 中的图架构解读 : （整个架构从左到右，总共分为5层）（本文将第三层以下的进行了合并，无elasticsearch集群） 第一层、数据采集层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发
分类：
其他好文 时间：
2018-03-14 22:07:04
阅读次数：
216
关于elk集群搭建请查看：http://blog.51cto.com/linyingyong/2084284先上一个我最后弄出来的图形：环境 ：?????nginx服务器? 安装filebeat配置：????1.nginx配置??????&
分类：
其他好文 时间：
2018-03-10 15:59:05
阅读次数：
338
坑坑坑，官网说明很不明显https://www.elastic.co/guide/en/beats/metricbeat/current/configuration-template.html6.0以后版本具体设置在filebeat.yml如下setup.template.name:"myname-01"#顶格，和output对其setup.template.pattern:"myname-01-
分类：
其他好文 时间：
2018-03-07 16:19:14
阅读次数：
168
笔记内容：搭建ELK日志分析平台——安装kibana和logstash笔记日期：2018-03-0327.6安装kibana27.7安装logstash27.8配置logstash27.9kibana上查看日志27.10收集nginx日志27.11使用beats采集日志本文是上一篇ELK介绍及搭建Elasticsearch分布式集群的后续。安装kibana由于上一篇中我们已经配置过yum源，这里就
分类：
其他好文 时间：
2018-03-04 21:16:19
阅读次数：
291
