码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop伪分布安装详解(二)

时间:2017-02-26 19:33:33      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:yum   add   images   art   pad   静态   ssh公钥   work   int   

目录:

     1.修改主机名和用户名

     2.配置静态IP地址

     3.配置SSH无密码连接

     4.安装JDK1.7

     5.配置Hadoop

     6.安装Mysql

     7.安装Hive

     8.安装Hbase

     9.安装Sqoop

********************

 1.修改主机名和用户名

  •  修改主机名:Centos中通过vi /etc/sysconfig/network 修改HOSTNAME=

    技术分享

  •    为了使Hadoop节点之间能互相访问,需要修改hosts文件,root用户执行并且所有节点均需执行

     vi /etc/hosts

    技术分享

  •    centos修改主机名执行useradd hadoop 添加以Hadoop为用户名的用户,执行passwd hadoop修改用户的密码

2. 配置静态IP地址

   技术分享

  [root@neusoft-master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet
UUID=02eb9342-c828-49a5-9e23-64e8c2d5e05e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.191.130
NETMASK=255.255.255.0
GATEWAY=192.168.191.2
PREFIX=24
DNS1=8.8.8.8
HWADDR=00:50:56:2C:72:E9
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
LAST_CONNECT=1482851817

     技术分享

   注意:如果多台虚拟机复制会有问题,我罗列了遇到的问题,如果没有图形界面网络配置更简单

   方法1:利用图形界面解决

    (1)图形界面找见图标,编辑

    技术分享

    (2)删除所有网络

   技术分享

    (3)根据虚拟机配置ip,网管等

   技术分享

    解决 Error:No suitable device found: no device found for connection "System eth0"

   注意:VM的虚拟网卡VMnet8一定需要在windows操作系统的网络中开启,同时在虚拟机中配置正确的子网掩码及网关

   (1)windows上的网络配置

    技术分享

   (2)VM软件配置

 

   技术分享

   技术分享

 

    方法2:问题复述:

    复制好的虚拟机,启动登陆进去(用户名和密码跟之前那台是一样的),修改好IPADDR,然后网卡重启出现问题?
    #service network restart
     出现问题:Error:No suitable device found: no device found for connection "System eth0" 如图所示:

    技术分享

    #ifup eth0
    出现: eth0: unknown interface: No such device 这样的问题,网卡都启动不了,出现问题.

   解决:

   (1)我们在界面点击Network Adapter Remove删除网卡,如图所示:

    技术分享

  (2)添加一个新的网卡,就是点击add,这时跟前面一台的MAC Address 就不一样,如图所示:

   技术分享

 

  (3)复制地址

  技术分享

  (4)重新启动虚拟机,然后进入到/etc/udev/rules.d/目录

  #cat 70-persistent-net.rules
  里面的信息跟我们Network Adapter的MAC Address地址一样,如图所示:

     技术分享

   (5) 进入/etc/sysconfig/network-scripts/目录

    #vi ifcfg-eth0
    把HWADDR修改成Network Adapter的MAC Address地址一样,如图所示:

    技术分享

   (6)重启网卡,这时就能正常启动,如图所示:

    技术分享

 3.配置SSH无密码连接

     在Centos中首先关闭防火墙 service iptables stop    查看防火墙:chkconfig iptables off

     (1)检查ssh是否安装

       yum install  ssh

       yum install  rsync   #远程同步数据的工具

      (2)启动SSH服务命令

      service  sshd   restart

              检查SSH是否已经安装成功  

     rpm  -qa  | grep  openssh       rpm  -qa  | grep  rsync 出现相应信息即可

       (3)生成SSH公钥

      对于伪分布式环境只需要本机链接本机即可:

      主节点执行:ssh-keygen -t rsa 一路回车即可,最后显示的图形是公钥的指纹加密。

              生成公钥后需要将公钥发到本机的authorized_keys的列表,执行:

              ssh-copy-id  -i  ~/.ssh/id_rsa.pub root@neusoft-master  或ssh-copy-id  -i  ~/.ssh/id_rsa.pub neusoft-master(主机名)

              也可以使用cat命令复制公钥到authorized_keys中,cat ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys

              如果是多机器需要需要通过scp命令赋值到主节点中,在分发至子节点。

        (4)检查是否可以无密码ping通:使用”ssh 主机名”的方式验证

 3.安装JDK

       (1)通过java主页下载jdk1.7.x版本,使用SecureCRT上传到Centos中             技术分享

        (2)卸载原来的openjdk

      rpm -qa  |grep  jdk  如果出现openjdk就需要卸载

      使用yum -y   remove  xxx,其中xxx为刚才rpm -qa  |grep  jdk的结果

           解压tar文件

       tar -zxvf  jdk-7u80-linux-x64.tar.gz

         (3)配置环境变量  vi /etc/profile

      export JAVA_HOME=/opt/jdk1.7.0_80  或/usr/java/default

      export PATH=$PATH:$JAVA_HOME/bin

            立马生效

      source  /etc/profile

       (4)验证安装 ,如下java -version

        技术分享

  注:

       如果是rpm文件只需要执行以下命令:

       rpm  -ivh  oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm (使用该文件方便)

       cd   /usr/java/

       ls

       ln -s jdk1.7.0-cloudera lastest

       ln -s /usr/java/lastest    default

       ls -l   #环境变量配置参考如下

     技术分享

 

Hadoop伪分布安装详解(二)

标签:yum   add   images   art   pad   静态   ssh公钥   work   int   

原文地址:http://www.cnblogs.com/jackchen-Net/p/6445318.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!