码迷,mamicode.com
首页 > 系统相关 > 详细

Hadoop编写一键集群全起start-cluster.sh、全关stop-cluster.sh、显示所有jps进程show-jps.sh脚本 以及解决方案

时间:2019-10-29 22:05:03      阅读:240      评论:0      收藏:0      [点我收藏+]

标签:div   who   t权限   jps   方案   root   hdfs   alt   编辑   

 

技术图片

 

 

 

一、首先进入:/usr/local/bin 文件夹下,编写start-cluster.sh脚本

vim start-cluster.sh              (需要root权限) 面的各个节点的信息根据自身情况进行修改

#!/bin/bash
user=`whoami`

echo "===============     开始启动所有节点服务        ==============="
for((host=102; host<=104; host++)); do
                echo "--------------- hadoop$host Zookeeper...... ----------------"
        ssh $user@hadoop$host /opt/module/zookeeper-3.4.10/bin/zkServer.sh start
done

echo "================    正在启动HDFS                ==============="
ssh $user@hadoop102 /opt/module/hadoop-2.7.2/sbin/start-dfs.sh

echo "================    正在启动YARN                ==============="
ssh $user@hadoop102 /opt/module/hadoop-2.7.2/sbin/start-yarn.sh

echo "================ hadoop102正在启动JobHistoryServer  ==============="
ssh $user@hadoop102 /opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver

保存,退出。修改执行权限 chmod 777 start-cluster.sh (或者u+x)运行:

技术图片

二、编写stop-cluster.sh

#!/bin/bash
user=`whoami`
echo "================     开始停止所有节点服务        ==============="
echo "================ hadoop102正在停止JobHistoryServer  ==============="
ssh $user@hadoop102 /opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver

echo "================    正在停止YARN                ==============="
ssh $user@hadoop102 /opt/module/hadoop-2.7.2/sbin/stop-yarn.sh

echo "================    正在停止HDFS                ==============="
ssh $user@hadoop102 /opt/module/hadoop-2.7.2/sbin/stop-dfs.sh

echo "===============     正在停止Zookeeper......     ==============="
for((host=102; host<=104; host++)); do
        echo "--------------- hadoop$host Zookeeper...... ----------------"
        ssh $user@hadoop$host /opt/module/zookeeper-3.4.10/bin/zkServer.sh stop
done

修改执行权限:chmod 777 stop-cluster.sh

技术图片

 

 三、编写show-jps.sh

#!/bin/bash
for((host=102; host<=104; host++)); do
                echo "================  hadoop$host JPS  ====================="
        ssh hadoop$host "jps"
done

 修改权限,运行

技术图片

 

 注意:如果仅仅是编辑以上的脚本的话启动时是看不到其它主机的信息的,因为他们找不到Java里的jps路径,因此我们必须要去创建软连接:

 

sudo ln -s /opt/module/jdk1.8.0_144/bin/jps /usr/local/bin/jps

 

显示为

技术图片

 

 再在每个节点的这个位置手动设置软链接!不设置软连接便会出现如下情况!

技术图片

 

 设置好每个节点的软链接

技术图片

 

 注:编写的脚本群起zookeeper服务,显示started但是jps不显示相应QuorumPeerMain进程解决方案:

在/opt/module/zookeeper-3.4.10/bin目录下的zkEnv.sh文件

在开头加上你的JAVA_HOME路径如下:

技术图片

 

 

 再分发到各个节点:xsync zkEnv.sh

一切就大功告成!如有哪儿不懂可以加我的群哦!875910806

Hadoop编写一键集群全起start-cluster.sh、全关stop-cluster.sh、显示所有jps进程show-jps.sh脚本 以及解决方案

标签:div   who   t权限   jps   方案   root   hdfs   alt   编辑   

原文地址:https://www.cnblogs.com/Mark-blog/p/11760415.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!