码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop install

时间:2018-11-16 20:45:28      阅读:202      评论:0      收藏:0      [点我收藏+]

标签:脚本   node   批量配置   ati   daemon   jps   ip映射   $path   exp   

1.Hadoop安装步骤
将Hadoop文件拷贝到/usr/local目录下并解压Tar -zxvf hadoop-3.0.0.tar.gz
将解压后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射关系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相关,在/usr/local/hadoop/etc/hadoop目录下配置
vim hadoop-env.sh 运行环境依赖Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode节点(Hadoop可以启动啦)
2.1、vim core-site.xml 每个节点都需要配置才可
------配置通信节点url,所有节点都需要该配置
hadoop.tmp.dir 配置Hadoop文件存储默认目录(若未配置,默认保存临时目录/tmp下的)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
</configuration>

3.Hadoop默认4个基本配置文件
hadoop默认配置
Core-default.xml ------对应 core-site.xml
Hdfs-default.xml-------对应 hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆盖默认配置(Hdfs-site.xml仅在Namenode配置即可)
----配置hadoop复制的保存份数(只在namenode节点配置即可)
dfs.replication HDFS保存文件保存的份数(默认是3份)
dfs.namenode.heartbeat.recheck-interval DataNode健康检查的间隔时间(毫秒)
dfs.permissions.enabled 测试时,可以关闭权限检查(否则没有权限访问)
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>20000</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3.2、mapred-site.xml仅在Namenode配置即可),
mapreduce.framework.name 将mapreduce与yarn资源调度平台关联(即mapreduce计算引擎使用yarn作为调度引擎)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.3yarn-site.xml仅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主机名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置计算MapReduce计算服务
<configuration>

yarn.resourcemanager.hostname hmaster yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce_shuffle.class org.apache.hadoop.mapred.ShuffleHandler 4、基本配置完毕,先格式化namenode节点 Hdfs namenode -format start-dfs.sh 启动Hadoop集群所有节点 stop-dfs.sh 停止Hadoop集群所有节点 启动namenode节点(master) hdfs --daemon start namenode (3.0写法) hdfs --daemon stop namenode hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode hadoop-daemon.sh start datanode hadoop-daemon.sh stop datanode jps查看相关进程是否起来 hdfs dfsadmin -report | more 查看Hadoop集群的状态 http://172.26.19.40:50070/ Hadoop集群UI管理界面 http://172.26.19.40:9000/ 集群内部通信接口服务 5、仅在namenode节点/usr/local/hadoop/etc/hadoop下 在slaves文件里添加所有DataNode节点hostname(方便以后脚本批量配置所有slaves节点) vim slaves hslave1 hslave2 hslave3 6、免密设置 cd ~ 来到根目录 ll -a 找到.ssh 文件 在.ssh目录执行 ssh-keygen -t rsa 生成root用户私钥与公钥如下图 然后将公钥id_rsa.pub 拷贝到所有slave节点.ssh目录 (在master 上用root登录slave时,用master的私钥加密后传输到slave节点,在所有slave节点拷贝的公钥能解密,证明是root用户登录上来了) 执行命令 Ssh-copy-id slave2 拷贝公钥id_rsa.pub 到slave2的.ssh目录(生成文件authorized_keys) 这时在master上可以免密登录slave1了

hadoop install

标签:脚本   node   批量配置   ati   daemon   jps   ip映射   $path   exp   

原文地址:http://blog.51cto.com/6000734/2317928

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!