码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop集群的启动与停止

时间:2020-07-09 00:37:06      阅读:119      评论:0      收藏:0      [点我收藏+]

标签:csdn   自己   总结   目录   停止   hadoop1   manager   浏览器   conda   

@

单点启动

  1. 如果集群是第一次启动,需要格式化NameNode
hadoop namenode -format
  1. 在某一台机器上启动NameNode节点
hadoop-daemon.sh start namenode
  1. 在其他机器上启动DataNode节点
hadoop-daemon.sh start datanode

漫长的启动时间…………

思考:每次都一个一个节点启动,如果节点数增加到1000个怎么办?
早上来了开始一个一个节点启动,到晚上下班刚好完成,下班?

群起集群

  1. 先配置各个节点之间的SSH免密登陆,请看我之前的文章:
    SSH实现免密登陆
  2. 配置slaves
    文件路径:$HADOOP_HOME/etc/hadoop/slaves
    在文件中增加以下内容:
hadoop101
hadoop102
hadoop103

这些名称是我的三台机器的主机名,各位请改成自己的主机名!
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

  1. 如果集群是第一次启动,需要格式化NameNode,这里使用的命令是hdfs,不是单点启动时的hadoop
hdfs namenode -format
  1. 启动HDFS
start-dfs.sh
  1. 启动YARN
start-yarn.sh

查看是否启动成功

web端查看SecondaryNameNode
浏览器中输入:http://主机名或IP地址:50090/status.html

集群启动/停止方式总结

  1. 各个服务组件逐一启动/停止
  • 分别启动/停止HDFS组件
hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode
  • 启动/停止YARN
yarn-daemon.sh  start / stop  resourcemanager / nodemanager
  1. 各个模块分开启动/停止(配置ssh是前提)常用
  • 整体启动/停止HDFS
start-dfs.sh   /  stop-dfs.sh
  • 整体启动/停止YARN
start-yarn.sh  /  stop-yarn.sh
  1. HDFS、YARN同时启动、停止
start-all.sh  /  stop-all.sh

hadoop集群的启动与停止

标签:csdn   自己   总结   目录   停止   hadoop1   manager   浏览器   conda   

原文地址:https://www.cnblogs.com/sunbr/p/13270072.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!