这三样东西分别作用是：日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类：
其他好文 时间：
2014-10-28 17:19:54
阅读次数：
812
Logstash+ElasticSearch+Kibana3架构日志系统一，分析系统简介日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异..
分类：
其他好文 时间：
2014-10-20 15:21:50
阅读次数：
388
部署ELK时候，logstash启动报错Sending logstash logs to /var/log/logstash.log.Exception in thread ">output" org.elasticsearch.discovery.MasterNotDiscoveredExcept...
分类：
其他好文 时间：
2014-10-10 11:35:24
阅读次数：
397
Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类：
其他好文 时间：
2014-10-09 17:03:48
阅读次数：
290
Logstash+Elasticsearch+Kibana+S3+NginxbuildourprivatelogquerysystemSystemstructureHowtosetupLogstash-index(Logstashserver)yum-yinstalljava-1.7.0-openjdkInstallandconfigureElasticsearch(Logstash1.4.2recommendsElasticsearch1.1.1)rpm--importhttp://packages.ela..
分类：
其他好文 时间：
2014-09-27 09:56:30
阅读次数：
322
用了这个logstash扩展https://github.com/PeterPaulH/logstash-influxdb/blob/master/src/influxdb.rb把这个文件放到 logstash-1.4.2/lib/logstash/outputs看一下午logstash的文档，终于...
分类：
数据库 时间：
2014-09-25 22:12:27
阅读次数：
355
logstash-forwarder搜集日志，汇总给logstash，然后输出到elasticsearch,并由kibana展现web界面.
分类：
其他好文 时间：
2014-09-17 18:23:32
阅读次数：
179
前言：做运维的很重要的基础工作就是监控，之前都是统计数据入库，然后前端js图表插件出图，费时费力，可定制性差前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便，但是手头没有那么大的存储啊也不是所有的日志数据都需要，然后就发现了gr...
分类：
其他好文 时间：
2014-09-16 15:30:20
阅读次数：
404
今天重新调整了下配置文件，之前的apache_errorlog未匹配到clientip。1.首先修改shipper.confinput{
file{
type=>"apache-accesslog"
path=>"/var/log/httpd/access_log"
}
file{
type=>"apache-errorlog"
path=>"/var/log/httpd/error_log"
}
}
filter{
if[type..
分类：
其他好文 时间：
2014-09-12 17:24:04
阅读次数：
786
