码迷,mamicode.com
首页 > 其他好文 > 详细

我的第一篇博客

时间:2019-08-10 19:01:24      阅读:96      评论:0      收藏:0      [点我收藏+]

标签:bin   replicat   mapred   oop   copy   java   file   module   三台   

Hadoop的三种模式搭建

准备工作(对Linux客户机的操作)

  • 安装Linux(centOS7)

  • 关闭防火墙、IP主机名映射(vi /etc/hosts)、修改主机名(vi /etc/hostname)

  • 安装jdk

    tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module

    配置环境变量

    vi /etc/profile
    
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=PATH=$PATH:$JAVA_HOME/bin
    
    使环境变量生效
    source /etc/profile

Hadoop本地模式(客户机1台)

  1. 安装Hadoop

    tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module
  2. 配置环境变量

    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.8.4/
    export PATH=PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    使环境变量生效
    source /etc/profile
  3. 配置文件

    hadoop-en.sh

    export JAVA_HOME=/opt/module/jdk1.8.0_144
  4. Hadoop自带example程序测试

    目录/opt/module/hadoop-2.8.4/share/hadoop/mapreduce的hadoop-mapreduce-examples-2.8.4.jar

Hadoop伪分布模式(客户机1台)

  • 集群规划

    bigdata111 bigdata112 bigdata113
    HDFS NN SN DN DN DN
    YARN NM RM NM NM

    NN:NameNode DN:DataNode SN:SecondaryNameNode

    RM:ResourceManager NM:NodeManager

  • 免密码登录
    • 生成公钥和私钥 ssh-keygen -t rsa 连续三个回车
    • ssh-copy-id 主机1
    • ssh-copy-id 主机2
    • ssh-copy-id 主机3
  1. 安装Hadoop、配置环境变量

  2. 配置文件

    core-site.xml

    <!-- 指定HDFS中NameNode的地址 -->
    <property>
     <name>fs.defaultFS</name>
     <value>hdfs://主机名1:9000</value>
    </property>
    
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/module/hadoop-2.X.X/data/tmp</value>
    </property>

    hdfs-site-xml

    <!--数据冗余数-->
    <property>
     <name>dfs.replication</name>
     <value>3</value>
    </property>
    
    <!--secondary的地址-->
    <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>主机名1:50090</value>
    </property>
    
    <!--关闭权限-->
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
    </property>

    yarn-site.xml

    <!-- reducer获取数据的方式 -->
    <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>主机名1</value>
    </property>
    
    <!-- 日志聚集功能使能 -->
    <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>
    
    <!-- 日志保留时间设置7天(秒) -->
    <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
    </property>

    mapred-site.xml

    <!-- 指定mr运行在yarn上-->
    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>
    
    <!--历史服务器的地址-->
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>主机名1:10020</value>
    </property>
    
    <!--历史服务器页面的地址-->
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>主机名1:19888</value>
    </property>

    hadoop-en.sh

    export JAVA_HOME=/opt/module/jdk1.8.0_144
  3. 格式化NameNode

    hadoop namenode -format

Hadoop全分布模式(客户机3台)

  • 三台机器:都是比伪分布模式多配置一个文件slaves
    bigdata111、bigdata112、bigdata113(自己设置的主机名)

我的第一篇博客

标签:bin   replicat   mapred   oop   copy   java   file   module   三台   

原文地址:https://www.cnblogs.com/bittli/p/11332498.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!