ELK环境搭建

标签：日志分析   elk   

预备环境：

系统：CentOS Linux release7.3.1611 (Core)

JDK：jdk1.8.0_144

ES：elasticsearch-5.5.1

索引管理：cerebro-0.6.5

Logstash：logstash-5.5.1

Kibana：kibana-5.5.1

一、JAVA环境设置

# tar xf jdk-8u144-linux-x64.tar.gz-C /data/app/

# cat  >> /etc/profile  <<EOF

#JDK1.8

exportJAVA_HOME=/data/app/jdk1.8.0_144

exportJAVA_BIN=/data/app/jdk1.8.0_144/bin

exportPATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BINPATH CLASSPATH

EOF

#  source /etc/profile

查看版本：

#  java –version      //ELK软件要求JAVA最低1.8

java version "1.8.0_144"                                       

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)          

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

默认安装的JDK属主属组目录是数字，需要手动修改成root

二、安装Elasticsearch

描述：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可用和管理便捷性而设计。

2.1软件安装

# tar xf elasticsearch-5.5.1.tar.gz

# mv /data/soft/elasticsearch-5.5.1/data/app/

#  chown-R elk:elk data/

# chown -R elk:elk logs/

# chown -R elk:elkelasticsearch-5.5.1/

2.2修改配置

配置文件：elasticsearch.yml    //见附录

注：elasticsearch不允许root启动，因此需要切换到普通用户

测试节点：

[root@ES01 elk]# curl10.20.11.7:9200

{

  "name" :"ES01",

  "cluster_name" :"xxjs",

  "cluster_uuid" :"KeHt6-VtQ96YiJ81ILHN6A",

  "version" : {

    "number" :"5.5.1",

    "build_hash" :"19c13d0",

    "build_date" :"2017-07-18T20:44:24.823Z",

    "build_snapshot" :false,

    "lucene_version" :"6.6.0"

  },

  "tagline" : "YouKnow, for Search"

}

端口：9200/9300

# curl -XGET‘10.20.11.7:9200/_cat/health?v&pretty‘

#查看健康状态

# curl -XGET‘10.20.11.7:9200/_cat/nodes?v&pretty‘

#查看集群节点列表

三、安装Logstash

描述：Logstash软件本身也需要运行在JDK1.8（包含）以上的的环境中，Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。Logstash是动态数据收集管道，拥有可扩展的插件生态系统，能够与Elasticsearch 产生强大的协同作用。

3.1软件安装

# tar xflogstash-5.5.1.tar.gz -C /data/app/

# cd /data/app/logstash-5.5.1/config/

# mkdir config   //用于存放日志分析配置文件

3.2修改配置

配置文件：logstash.yml        //见附录

分析配置文件：    //可以使用root运行

-rw-r--r--. 1 root root 678 9月   519:41 tomcat.conf

3.3测试配置文件是否可用

# /data/app/logstash-5.5.1/bin/logstash-f tomcat.conf  \

--config.test_and_exit

出现Configer OK

3.4设置后台运行

#nohup /data/app/logstash-5.5.1/bin/logstash -f  \

 tomcat.conf &>/dev/null &

端口：9600

四、搭建Kibana

描述：Kibana是一个开源的分析与可视化平台，Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理Elastic Stack。Kibanak可以搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

4.1软件安装

# tar xfkibana-5.5.1-linux-x86_64.tar.gz -C /data/app/

# chown  -R elk:elk /data/app/kibana-5.5.1-linux-x86_64

4.2修改配置

配置文件：kibana.yml      //见附录

4.3设置后台运行    //使用elk用户登录

# nohup /data/app/kibana-5.5.1-linux-x86_64/config/kibana.yml  &>/dev/null &

4.4查看服务是否运行，端口5601

4.5运行启动kibana

网页访问：http://10.20.11.11:5601

4.5-2添加索引

4.5-3创建索引-1

4.5-4创建索引-2

4.5-5发现索引

五、搭建Cerebro

描述：Cerebro是第三方ES集群管理工具，可以方便查看集群状态；它也提供了对ES集群操作的API功能

5.1软件安装

# tar xf cerebro-0.6.5.tgz

该软件解压即可使用

5.2设置后台运行

# nohup ./bin/cerebro  &>/dev/null  &

5.3访问控制

WEB访问：http://10.20.11.7:9000

然后在HOSTS里输入：http://10.20.11.7:9200

如果安装了x-pack，需要输入ES的用户名和密码

界面显示如下：

可以查看管理ES主机（或集群）状态，也可以查看管理索引

方便管理

到此ELK已经完成搭建！！！

配置使用见后续文章

附录：

ES配置文件：

修改jvm.options配置设置
-Xms2g  -->   -Xms13g
-Xmx2g  -->   -Xmx13g
注：按需调整，配置物理机内存的50%，但不要超过31G。
修改elasticsearch.yml 配置
cluster.name: xxjs   //集群名
node.name: ES01      //节点名
path.data: /data/app/data   //data存储路径
path.logs: /data/app/logs   //日志路径
network.host: 10.20.11.7    //监听地址
http.port: 9200             //监听端口
discovery.zen.ping.unicast.hosts: ["10.20.11.7", "10.20.11.8", "10.20.11.9", "10.20.11.10"]
//集群节点列表，也可用节点名
discovery.zen.minimum_master_nodes: 4
//集群可做master的最小节点数

修改logstash.yml配置
path.data: /var/lib/logstash
path.config: /data/soft/logstash-5.5.1
path.logs: /var/log/logstash

修改 kibana.yml配置
server.port: 5601
server.host: "10.20.11.11"
elasticsearch.url: "http://10.20.11.7:9200"

本文出自 “ELK搭建” 博客，请务必保留此出处http://8258742.blog.51cto.com/8248742/1982068

ELK环境搭建

标签：日志分析   elk   

原文地址：http://8258742.blog.51cto.com/8248742/1982068