码迷,mamicode.com
首页 > 其他好文 > 详细

剑指架构师系列-Logstash分布式系统的日志监控

时间:2017-09-09 22:31:24      阅读:155      评论:0      收藏:0      [点我收藏+]

标签:log   日志   logstash   文件   form   file   pat   sage   class   

 

Logstash主要做由三部署组成:

  1. Collect:数据输入
  2. Enrich:数据加工,如过滤,改写等
  3. Transport:数据输出

下面来安装一下:

wget https://download.elastic.co/logstash/logstash/logstash-2.3.2.tar.gz
tar -zxvf logstash-2.3.2.tar.gz  

在logstash-2.3.2目录下创建文件shipper.conf并配置:

input { 
    file {
       path => [  "/var/log/test_logstash.log" ] 
     }
}

filter {
   mutate { 
     replace => ["host", "192.168.0.127 B[1]"] 
   } 
}

output { 
 redis { 
    host => "192.168.0.127" 
    port => 6379 
    db => 8 
    data_type => "channel" 
    key => "logstash_list_0" 
  } 
}

 

在logstash-2.3.2目录下创建文件indexer.conf并配置:

input { 
  redis { 
       host => "192.168.0.127" 
       port => 6379 
       db => 8 
       data_type => "channel" 
       key => "logstash_list_0" 
   } 
}


output { 
   file {
       path => "/var/log/all.log" 
       message_format => "%{host} %{message}" 
       flush_interval => 0 
   } 
}

 

下面就可以启动了,命令如下:

bin/logstash agent -f indexer.conf &>/dev/null & 
bin/logstash agent -f shipper.conf &>/dev/null &
tail -f /var/log/all.log

然后再打开一个命令终端,改变被监控的日志内容:

echo "Hello World" >> /var/log/test_logstash.log

如下图:

技术分享

或者也可以查看redis-cli,如下:

技术分享

  

 

 

 

 

 

 

 

剑指架构师系列-Logstash分布式系统的日志监控

标签:log   日志   logstash   文件   form   file   pat   sage   class   

原文地址:http://www.cnblogs.com/mazhimazhi/p/7499363.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!