1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
logstash-forward 源码核心思想包括以下几个角色（模块）： prospector: 找到配文件中paths/globs下面文件, 并且启动harvesters，提交文件给harvesters ?harvester: 读取scan文件, 并提交相应的event给spooler s...
分类：
其他好文 时间：
2015-08-10 13:43:08
阅读次数：
902
elk分析nginx、dns日志部署环境192.168.122.187Logstash-1.5.1elasticsearch-1.6.0kibana-4.1.1Centos6.4192.168.122.1Redis-2.8Centos7.1192.168.122.2Nginxlogstash-1.5.2supervisor-2.1-9java-1.7Centos6.4192.168.122.247Bind9logstash-1.5.2supervisor-2.1-9java-1.7Cento..
分类：
其他好文 时间：
2015-08-06 18:45:01
阅读次数：
343
1. AWS EC2中安装需要的注意事项
2. grok有哪些pattern?
3. 如何丢失掉不需要的日志？
4. 为什么索引的值不能做sum/average，为什么我的字段不是Number类型而是String？
5. 怎么制作visualization?...
分类：
其他好文 时间：
2015-08-03 14:41:02
阅读次数：
326
简单的介绍了logstash，给出一些简单实用的examples...
分类：
其他好文 时间：
2015-08-02 15:14:58
阅读次数：
211
logstash 配置使用redis做中间broker节点无法连接
分类：
其他好文 时间：
2015-07-26 22:27:36
阅读次数：
306
使用Nginx的网站可能会遇到访问流量异常、被友情检测、程序出现Bug等各种突然情况，这时大家的反应想必都是第一时间分析日志，然后发现日志有几十GB之多，又需要按照时间、错误类型或者关键字段检索信息时会不会有种醍醐灌顶、菊花一紧的错觉。文中介绍的方法不管是GoAccess还是sed/awk虽然可以解决一时的问题但未必能够治本，也许`ELK(Logstash+ElasticSearch+Kibana)`对我们大多数人来...
分类：
数据库 时间：
2015-07-17 00:28:10
阅读次数：
1331
e：elasticsearchl：logstashk：kibanalogstash快速入门：http://www.2cto.com/os/201411/352015.htmlelk中文指南 ：http://kibana.logstash.es/content/logstash/index.html
分类：
其他好文 时间：
2015-07-15 12:53:15
阅读次数：
156
最近涌现出各种各样能帮助你理解日志的新工具，有类似 Scribe、Logstash 这样的开源项目，也有类似 Splunk 的预付费工具，还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗，在大量日志中提取一些更有价值的文件。但有一件事这些工具却爱莫能...
分类：
其他好文 时间：
2015-07-09 19:32:42
阅读次数：
154
