CENTOS6.5安装日志分析ELK elasticsearch + logstash + redis + kibana

时间：2015-08-14 17:18:40 阅读：668 评论：0 收藏：0 [点我收藏+]

标签：elk 日志分布处理 elasticsearch + logstash + redis + kibana

1、日志平台的工作流程

多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。
Shipper表示日志收集，使用LogStash收集各种来源的日志数据，可以是系统日志、文件、redis、mq等等；
Broker作为远程agent与中心agent之间的缓冲区，使用redis实现，一是可以提高系统的性能，二是可以提高系统的可靠性，当中心agent提取数据失败时，数据保存在redis中，而不至于丢失；
中心agent也是LogStash，从Broker中提取数据，可以执行相关的分析和处理(Filter)；
ElasticSearch用于存储最终的数据，并提供搜索功能；
Kibana提供一个简单、丰富的web界面，数据来自于ElasticSearch，支持各种查询、统计和展示；

2、机器的部署情况

192.168.1.140 # redis 服务器，角色broker
192.168.1.140 # logstash 角色 indexer 服务器，集成elasticsearch， kibana，必须有安装web服务
192.168.1.132 # nginx服务器，角色生产服务器，logstash需要收集它的日志

这里选用的软件的版本：

logstash-1.4.2

elasticsearch-1.4.2

redis-2.6.16

kibana 是logstash内带的

这些软件之间有兼容性问题，请用其他代替版本的同学注意。

2.1 安装logstash-1.4.2

yum -y install java-1.7.0-openjdk 安装logstash需要jdk的支持

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

tar xzvf logstash-1.4.2.tar.gz -C /app/ && mv /app/logstash-1.4.2 /app/logstash

mkdir -p /app/logstash/conf

注：如果yum出现这样的问题：

需要按照epel

rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6

测试安装

cd /app/logstash/bin

./logstash -e ‘input { stdin { } } output { stdout {} }‘

输入“good job”, 如果出现类似下图，说明logstash正常工作

2.2 安装 elasticsearch-1.4.2

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz

tar xzvf elasticsearch-1.4.2.tar.gz -C /app/

cd /app/elasticsearch-1.4.2/config

修改配置文件elasticsearch.yml

discovery.zen.ping.multicast.enabled: false #关闭广播，如果局域网有机器开9300 端口，服务会启动不了

network.host: 192.168.1.140 #指定主机地址，其实是可选的，但是最好指定因为后面跟kibana集成的时候会报http连接出错（直观体现好像是监听了:::9200 而不是0.0.0.0:9200）

http.cors.allow-origin: "/.*/"

http.cors.enabled: true #这2项都是解决跟kibana集成的问题，错误体现是你的 elasticsearch 版本过低

启动elasticsearch

cd /app/elasticsearch-1.4.2/bin

./elasticsearch # 配置阶段建议直接启动，日志会输出到stdout，-d 选项表示以daemon的方式启动，如果没有出现error ，表示服务正常启动

测试logstash 跟elasticsearch数据交互

/app/logstash/bin/logstash -e ‘input { stdin { } } output { elasticsearch { host => 192.168.1.140 } }‘

输入you know

curl ‘http://192.168.1.140:9200/_search?pretty‘ # 如果有输出且没有出现错误表示服务器交互成功

注：可能出现如下错误信息，我也不知道什么原因，我没有管不过不耽误后面的搭建有谁知道这个是怎么回事或者怎么解决的请留言谢谢！！

2.3 安装kibana

cd /app/logstash/vendor

vim kibana/config.js #elasticsearch: "http://"+window.location.hostname+":9200",修改成"http://192.168.1.140:9200"

cp -Rv kibana /var/www/html 拷贝网页的配置

/etc/init.d/httpd start / service httpd start

能够访问url http://192.168.1.140/kibana/index.html 看到这样的画面

2.4安装redis

#tar xzvf redis-2.6.16.tar.gz -C /app

#cd /app/redis-2.6.16 && mkdir conf

#make target=linux26 （报错可能缺少一些编译的工具，按照提示，yum安装就行了

如果出现如下报错：

可以执行 make MALLOC=libc

详细原因可以直接百度出来

http://www.41443.com/HTML/DB2/20150525/373733.html

）

#./src/redis-server redis.conf # daemonize yes 使用默认的配置文件

2.5 集成logstash redis

vim /app/logstash/conf/nginx_acces.conf 写入如下内容

input {
redis {
host => ‘192.168.1.140‘ # 我方便测试没有指定password，最好指定password
data_type => ‘list‘
port => "6379"
key => ‘logstash:redis‘ #自定义
type => ‘redis-input‘ #自定义
}
}
output {
elasticsearch {
host => "192.168.1.140" # 由于redis和elasticsearch在一台机器上所以IP是一个

  codec => "json"
  protocol => "http" #版本1.0+ 必须指定协议http
  }
}

验证配置文件

cd /app/logstash

#bin/logstash -f ./conf/nginx_access.conf -t # 无误后启动

#bin/logstash -f ./conf/nginx_access.conf --verbose # 要检查错误 --debug