码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop集群安装

时间:2018-06-14 23:16:07      阅读:263      评论:0      收藏:0      [点我收藏+]

标签:mapr   通用   man   重启   admin   scheduler   检查   default   切换   

环境:

centos6 32位 hadoop2.8.4  jdk1.8(此版本运行hadoop时会警告可无视)hadoop用户(非root普通用户)   主机ip:10.10.10.10  slave主机ip:20.20.20.20

请务牢记上述环境!!!  另外除非表明使用root用户外,皆用hadoop用户执行命令

hadoop2.x与1.x结构上发生了一些变化

搭建共6步

1.配置java环境

2.配置master主机与各slave主机的ssh通信

3.下载、解压hadoop压缩包,并配置hadoop环境变量

4.配置hadoop中7大配置文件

5.格式化 namenode 

6. 启动

 

3.下载、解压hadoop压缩包,并配置hadoop环境变量

 从hadoo官网下载压缩包 hadoop2.8.4.tar.gz 

①切换至root用户或使用sudo命令执行以下3条命令:

 

mkdir /usr/hadoop  新建hadoop上层目录
tar -zxvf hadoop2.8.4.tar.gz -C /usr/hadoop/  解压至新建目录
chown -R hadoop:hadoop /usr/hadoop  将/usr/hadoop用户权限转移给hadoop组的hadoop用户

 

②继续以root用户或使用sudo命令执行:

vi /etc/profile  配置hadoop环境变量

 

③在profile文件的末尾添加2行:

export HADOOP_HOME=/usr/hadoop/hadoop2.8.4
export PATH=$PATH:$HADOOP_HOME/bin

如果你第①步执行没有问题的话,此时在 /usr/hadoop/ 目录下存在一个 hadoop2.8.4 文件夹

 

 ④检查环境变量

source /etc/profile
reboot  重启(可选),博主搭建时环境变量始终未刷新,无奈重启...
echo $HADOOP_HOME  这句命令会在终端输出hadoop的解压目录 /usr/hadoop/hadoop2.8.4

 

 

4.配置hadoop中7大配置文件

 这一步参考了以下2个网址:

Hadoop2.8 安装心得

Hadoop 2.8集群安装及配置记录

 

① 修改 /usr/hadoop/hadoop2.8.4/etc/hadoop-env.sh 与 yarn-env.sh 2个文件中的JAVA路径

如果改行前面有注释#,去掉后修改保存

export JAVA_HOME=本机java安装(解压)目录

 

②修改 /usr/hadoop/hadoop2.8.4/etc/hadoop/slave 文件

20.20.20.20

一行一个slave主机ip,可以用主机名代替,但是前提是 /etc/hosts 文件中有相应的映射信息,这里是新版本hadoop,配置文件中没有master文件

 

③ /usr/hadoop/hadoop2.8.4/etc/hadoop/core-site.xml

<configuration>     
    <property>   
        <name>hadoop.tmp.dir</name>   
        <value>/usr/hadoop/hadoop2.8.4/tmp</value>  <!-- 需要自己在hadoop2.8.4目录中新建tmp文件夹 -->
        <final>true</final>
    </property>   
    <property>   
        <name>fs.default.name</name>   
        <value>hdfs://10.10.10.10:9000</value>      <!-- 这里填的是master主机的ip(或主机名) -->
            <final>true</final>   
    </property>   
    </configuration> 

 

④ /usr/hadoop/hadoop2.8.4/etc/hadoop/hdfs-site.xml

 <configuration>       
         <property>    
             <name>dfs.http.address</name>    
             <value>10.10.10.10:50070</value>    <!--依旧是master主机ip -->
        </property>    
        <property>   
            <name>dfs.replication</name>   
            <value>1</value>   <!-- slave主机数量,我这里只有1台,就填1 -->
        </property>    
        <property>    
             <name>dfs.namenode.secondary.http-address</name>    
             <value>10.10.10.10:50090</value>    
        </property>   
    </configuration>

 

⑤ /usr/hadoop/hadoop2.8.4/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>10.10.10.10:9001</value>
    </property>
    <property>
        <name>mapred.map.tasks</name>
        <value>20</value>
    </property>
    <property>
        <name>mapred.reduce.tasks</name>
        <value>4</value>
    </property>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>10.10.10.10:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>10.10.10.10:19888</value>
    </property>
</configuraion>

 

⑥ /usr/hadoop/hadoop2.8.4/etc/hadoop/yarn-site.xml

<property>    
  <name>yarn.resourcemanager.address</name>    
  <value>10.10.10.10:18040</value>    
</property>    
<property>    
  <name>yarn.resourcemanager.scheduler.address</name>    
  <value>10.10.10.10:18030</value>    
</property>    
<property>    
  <name>yarn.resourcemanager.webapp.address</name>    
  <value>10.10.10.10:18088</value>    <!-- 记住这个ip,用于浏览器访问:10.10.10.10:18080/cluster/ -->
</property>    
<property>    
  <name>yarn.resourcemanager.resource-tracker.address</name>    
  <value>10.10.10.10:18025</value>    
</property>    
<property>    
  <name>yarn.resourcemanager.admin.address</name>    
  <value>10.10.10.10:18141</value>    
</property>    
<property>    
  <name>yarn.nodemanager.aux-services</name>    
  <value>mapreduce_shuffle</value>    
</property>    
<property>    
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>    
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>    
</property>    
</configuration> 

 

5.格式化 namenode 

如果hadoop的环境变量已经配好了,那么就可以在任意地方执行以下命令

hadoop namenode -format

 

6.启动

执行命令

cd sbin/  进入hadoop安装(解压)目录的sbin目录下
./start-all.sh  启动hadoop

slave主机的配置与master主机是一样的,可以直接将以上配置过的文件复制粘贴过去,就可以启动了

就到这里吧......世界杯开始了开始了!!!

 

hadoop集群安装

标签:mapr   通用   man   重启   admin   scheduler   检查   default   切换   

原文地址:https://www.cnblogs.com/linghaoxinpian/p/9185149.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!