码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop伪分布式环境搭建

时间:2018-09-18 22:49:52      阅读:216      评论:0      收藏:0      [点我收藏+]

标签:环境搭建   dem   窗口   状态   pen   bsp   修改主机名   lse   刷新   

 一、准备Linux环境

  1、安装目前常用的VMware,和Linux虚拟机(可以复制、拷贝)

  2、使用 vim /etc/sysconfig/network进行修改主机名

            技术分享图片

  3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的IP\子网掩码\默认网关

  4、修改主机名和IP之间的映射关系   vim  /etc/hosts

   (192.168.0.30    hadoop-1)

  5、查看防火墙状态(service iptables status),关闭防火墙(service iptable stop),关闭防火墙开机启动(chkconfig iptables off)

           技术分享图片

  6、重启Linux系统


以上Linux 环境准备完毕!

二、安装jdk

  1、首先,选择正确版本的jdk进行下载。其次,alt+p 后弹出sftp窗口,然后如下进行上传jdk到Linux系统

            技术分享图片

  2、解压jdk

    使用mkdir 命令在合适的位置创建文件夹 如/home/hadoop/jdk ; 然后利用如下命令进行解压到该目录下

            技术分享图片

  3、修改Java和Hadoop的环境变量利用命令 (vim /etc/profile)

    刷新配置操作:source /etc/profile

  4、验证jdk安装正确

            技术分享图片


以上jdk安装完毕!

三、安装hadoop 2.X 或hadoop 3.X 根据自己的情况选择

  1、上传hadoop到服务器端,并进行解压(跟jdk的上传方式一致)

  2、使用vim /etc/profile 将hadoop添加到环境变量

  3、依次修改5个配置文件包括 

             hadoop-env.sh

     技术分享图片

             core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>

   <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop-1:9000</value>
   </property>

   <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
   </property>

   <property>
         <name>hadoop.native.lib</name>
         <value>false</value>
         <description>if loadown native lib, open warn, so set this</description>
   </property>

</configuration>

 

             hdfs-site.xml

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
</property>

<property>
    <name>dfs.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>
</configuration>

 

             mapred-site.xml

<configuration>
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
</configuration>

 

             yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-1</value>
   </property>

   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

</configuration>

 

  4、利用hdfs namenode -format 命令格式化namenode

  5、启动hadoop, 先启动 sbin/start-dfs.sh; 再启动yarn sbin/start-yarn.sh

  6、使用jps命令验证hadoop是否启动成功

 

  

Hadoop伪分布式环境搭建

标签:环境搭建   dem   窗口   状态   pen   bsp   修改主机名   lse   刷新   

原文地址:https://www.cnblogs.com/ltolstar/p/9670553.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!