码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop(1)安装hadoop之前的操作

时间:2020-03-23 15:17:20      阅读:59      评论:0      收藏:0      [点我收藏+]

标签:损坏   limited   时间   设备   关闭selinux   包含   isp   配置   uuid   

1、关闭磁盘的noatime、nodelalloc 属性

  在/etc/fstab中,添加磁盘noatime、nodelalloc 属性,如下:

UUID=65a26878-c82e-4296-a134-a686248155f2 /data2 xfs defaults,noatime,nodelalloc 0 0
注:
noatime属性已经包含nodirtime属性,表示在写入数据的时候不记录相关属性;
nodelalloc:表示关闭磁盘的延迟分配,当开启延迟分配的时候,可以减少数据磁盘的碎片率以及增加读写性能,但是在一定程度上会增加数据的丢失率(当磁盘损坏或者服务器宕机)

 2、修改数据磁盘保留块的数量比例

使用tune2fs -m 1 设备名字:表示修改磁盘数据块的可剩余空间为1%

 3、修改unimit限制

修改/etc/security/limits.conf文件,添加如下配置:
* - nofile 65535
修改/etc/security/limits.d/20-nproc.conf文件,添加如下配置
*          soft    nproc     unlimited

如何确定一个进程打开的文件描述符的数量

lsof -p 4500|wc -l
4500就是进程的pid

 

4、关闭ipv6

net.ipv6.bindv6only = 0
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1

注:这属于内核调优

5、关闭selinux、防火墙问题

 6、集群的ssh免密

7、集群hosts文件添加

8、时间同步

 

 
 
 
 
 
 
 
 

hadoop(1)安装hadoop之前的操作

标签:损坏   limited   时间   设备   关闭selinux   包含   isp   配置   uuid   

原文地址:https://www.cnblogs.com/yjt1993/p/12551843.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!