码迷,mamicode.com
首页 > 其他好文 > 详细

ELKstack5.6.5

时间:2018-08-08 22:56:29      阅读:333      评论:0      收藏:0      [点我收藏+]

标签:gic   比较   hba   xxx   挂载磁盘   down   clust   apache   scan   

             ELKstack

安装:

一:环境准备:

1.给添加块磁盘50G,相当于模拟raid

2.分别给它们做本机的主机解析

[root@node01 ~ ]#cat  /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

nameserver 8.8.8.8

node02  192.168.5.105

node01  192.168.5.111

3.挂载磁盘

添加新硬盘并动态显示出来

[root@node01 ~ ]#echo "- - -" > /sys/class/scsi_host/host0/scan

root@node01 ~ ]#echo "- - -" > /sys/class/scsi_host/host1/scan

root@node01 ~ ]#echo "- - -" > /sys/class/scsi_host/host2/scan

[root@node01 ~ ]#fdisk -l

.

.

Disk /dev/sdb: 53.7 GB, 53687091200 bytes, 104857600 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

直接格式化硬盘

[root@node01 ~ ]#mkfs.xfs /dev/sdb

创建目录把硬盘挂载上去---专门存elk收集到的数据

[root@node01 ~ ]#mkdir /elk

把磁盘挂载上去---先看uuid----blkid命令

[root@node01 ~ ]#vim /etc/fstab 

UUID="fb6e6609-5f90-41c6-a47d-93587e2ca4f8" /elk      xfs     defaults  0 0

[root@node01 ~ ]#mount -a

[root@node01 ~ ]#df -H 

/dev/sdb         54G   34M   54G   1% /elk

 

https://www.elastic.co/cn/ 官网

 

3.各种包准备

下载地址:elasticsearch-5.6.5.tar.gz

https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-5

https://artifacts.elastic.co/downloads/logstash/logstash-5.6.5.rpm

https://artifacts.elastic.co/downloads/kibana/kibana-5.6.5-x86_64.rpm

http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.rpm

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.5-x86_64.rpm

https://src.fedoraproject.org/repo/pkgs/haproxy/

https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/Connector-J/mysql-connector-java-5.1.45.zip

http://nginx.org/download/nginx-1.10.3.tar.gz

http://download.redis.io/releases/redis-3.2.9.tar.gz

http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.69/bin/apache-tomcat-7.0.69.zip 

 

4.安装

[root@node01]#yum install -y elasticsearch-5.6.5.rpm    jdk-8u181-linux-x64.rpm  

5.修改配置文件

[root@node01 ~ ]#grep -v "^#" /etc/elasticsearch/elasticsearch.yml    

cluster.name: elk-cluster1    集群名

node.name: elk-node01

path.data: /elk/data

path.logs: /elk/logs

network.host: 192.168.5.111  监听地址

http.port: 9200

discovery.zen.ping.unicast.hosts: ["192.168.5.111", "192.168.5.105"]改成组播

 

6.启动

[root@node01 ~ ]#systemctl start elasticsearch  现在是启不来的

[root@node01 ~ ]#ll /elk      没有数据

total 0

[root@node01 ~ ]#tail -f  /var/log/messages    报错了

Unit elasticsearch.service entered failed state

[root@node01 ~ ]#vim /var/log/messages

 ERROR Unable to create file /elk/elk-cluster1.log java.io.IOException: Permi

 ssion denied  创建的文件权限是拒绝的

报错:

主要原因是启动脚本中它定义了用户和组是如下,所以它对/elk目录是没有任何权限

[root@node01 ~ ]#cat /usr/lib/systemd/system/elasticsearch.service 

User=elasticsearch

Group=elasticsearch

[root@node01 ~ ]#ll -d /elk  权限755,由下可以看出其它组只有读和执行权,其它

     人只有执行权限  

drwxr-xr-x. 2 root root 6 Aug  8 00:50 /elk

两种解决办法:

把elasticsearch启动测试的脚本改成root

把/elk目录改成elasticsearch属主组

[root@node01 ~ ]#chown -R elasticsearch:elasticsearch /elk/

http://192.168.5.111:9200/    浏览器中已看到

 

 

7.同样的在节点2上也安装:

[root@node02 ~ ]#yum install -y jdk-8u181-linux-x64.rpm        elasticsearch-5.6.5.rpm  

同上修改配置文件并启动

结果报错如下:

[root@node02 ~ ]#vim /var/log/messages 

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000

00085330000, 2060255232, 0) failed; error=‘Cannot allocate memory‘ (errno=12)

这种错误:原因就是内存无法分配的问题 解决办法有两个种(这要看遇到的具体是什么了)

1.分配给Hadoophbase的内存过大了 可以修改hadoop-env.shhbase-env.sh中的Hadoophbase内存 给小一点就ok

2.现执行命令 free -m 查看内存是不是还有 最主要的是 看有没有交换空间 swap (这很重要)如果没有交换空间 或者交换空间比较小  要先安装交换空间 或者增大空间

1)、创建swapfile

root权限下,创建swapfile  # dd  if=/dev/zero  of=swapfile  bs=1024  count=1000000  (有时会遇到dd命令不识别 可能是你安装过一次了 没事 先把swapfile删除就ok了)

2)、将swapfile设置为swap空间

# mkswap swapfile

3)、启用交换空间,这个操作有点类似于mount操作(个人理解):

# swapon  swapfile (删除交换空间 swapoff swapfile

至此增加交换空间的操作结束了,可以使用free命令查看swap空间大小是否发生变

再重新启动又报错:

[root@node02 ~ ]#vim /var/log/messages

 

OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

在虚拟机的设置中,将处理器的处理器核心数量改成2,重新执行启动命令后,能够正常运行。若还是未能执行成功,可进一步将处理器数量也改成2.

这样就好了

 

二:安装插件elasticsearch-head

第一步,安装git

需要从github上面下载代码,因此先要安装git

yum -y install git

安装完成后,就可以直接下载代码了:

git clone git://github.com/mobz/elasticsearch-head.git

后在head目录中,执行npm install 下载以来的包:

npm install 

npm run start

这个时候,访问http://xxx:9100就可以访问head插件了.

 

ELKstack5.6.5

标签:gic   比较   hba   xxx   挂载磁盘   down   clust   apache   scan   

原文地址:https://www.cnblogs.com/dbslinux/p/9446199.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!