码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop2.5.0 centOS系列 分布式的安装 部署

时间:2014-09-04 21:00:50      阅读:356      评论:0      收藏:0      [点我收藏+]

标签:des   style   blog   http   color   os   io   使用   java   

     首先第一步.设置免密码SSH登陆,这是为了以后使用scp 传输文件方便,直接同步文件与文件夹,而且ssh 随时切换到相应的服务器上  

         先安装好ssh 如果没有安装 那么 按照下面操作 ,这是网上复制的

1.安装启动 ssh

   1、检查linux是否已经按openssh

命令:# rpm -qa |grep openssh如果安装了,就可以看到安装的版本号,否则就没有安装。

2、安装# rpm -ivh openssh-3.5p1-6    

# rpm -ivh openssh-server-3.5p1-6   

 # rpm -ivh openssh-askpass-gnome-3.5p1-6  

 # rpm -ivh openssh-clients-3.5p1-6  

 # rpm -ivh openssh-askpass-3.5p1-6 

3、启动方法方法1:# service sshd start   

 方法2:使用绝对路径执行以下命令:

 # /etc/rc.d/init.d/sshd start  

 或者# /etc/rc.d/sshd start

4、自动启动方法另外,如果想在系统启动时就自动运行该服务,那么需要使用setup命令,

在system service的选项中,选中sshd守护进程即可。 

 chkconfig sshd on

 通过ntsysv 选中sshd服务

也可以通过chkconfig也设置chkconfig -- level 3 sshd on

5、配置ssh配置文件目录:/etc/ssh/sshd_config

  port 22

  安装好了 后,我们开始生成ssh的的公钥 与 私钥

我有四台机器 192.168.250.195  192.168.250.197  192.168.250.200  192.168.250.196  最后196作为主master

所以先ssh登陆到196机器 然后执行下面命令

  ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@192.168.250.195 ~/.ssh/authorized_keys 

下面是以前尝试 时候的截图,参考,可以直接脚本scp 加上管道直接一步完成

bubuko.com,布布扣

bubuko.com,布布扣


然后 配置 然后 以后从master 机器使用scp ssh  都不需要输入密码

 然后我们修改并同步hosts属性文件

 vi  /etc/sysconfig/network 分别修改HOSTNAME=master  HOSTNAME=slave1 ....slave2  slave3

下面 修改vi /etc/hosts 文件

192.168.250.196   master
192.168.250.195   slave1
192.168.250.197   slave2
192.168.250.200   slave3

下面 scp同步

bubuko.com,布布扣

 下面我们 下载hadoop然后  在master上 修改好配置文件 然后scp同步到其他slave上即可

  tar -zxf hadoop-2.5.0.tar.gz -C /usr/local/

  cd /usr/local

   ln -s hadoop-2.5.0 hadoop

  配置好环境变量

 vi /etc/profile 

  

export HADOOP_PREFIX="/usr/local/hadoop"
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_YARN_HOME=${HADOOP_PREFIX}

 当然需要前提安装好java环境

  然后进入hadoop目录 cd /usr/local/hadoop 修改

vi /etc/hadoop/yarn-env.sh 还有hadoop-env.sh 导入java环境

export JAVA_HOME=/usr/local/jdk8 如果默认使用 yum 安装的则不需要

然后

修改目录文件夹的core-site.xml

 
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<description>The name of the default file system.</description>
</property>

 修改hdfs-site.xml  记住是///

 bubuko.com,布布扣


然后下面修改yarn-site.xml

配置yarn 的resourceManger为master

bubuko.com,布布扣

 然后修改mapred-site.xml

默认没有mapred-site.xml文件,copy  mapred-site.xml.template 一份为 mapred-site.xml即可

bubuko.com,布布扣

然后配置 告诉hadoop 其他从节点,这样,只要主节点启动,他会自动启动其他机器上的nameNode dataNode 等等

vi  /usr/local/hadoop/etc/hadoop/slaves

添加以下内容

bubuko.com,布布扣

  OK 基本的全部配置已经完成

下面就是同步该文件夹 到其他各个从主机上即可 因为我们使用ssh免登陆 不需要使用密码

scp -r /usr/local/hadoop root@192.168.250.195:/usr/local/hadoop

scp -r /usr/local/hadoop root@192.168.250.197:/usr/local/hadoop

scp -r /usr/local/hadoop root@192.168.250.200:/usr/local/hadoop

ok

同步好了 后,然后我们开始在主节点 也就是当前的master 的usr/local/hadoop/sbin执行format

hdfs namenode -format

然后依次执行start-dfs.sh 

在执行start-yarn.sh

也可以简单粗暴的直接start-all.sh

然后jps命令就可以查看到hadoop的运行状态了

bubuko.com,布布扣

在从节点上 

bubuko.com,布布扣

也许一些用户发现ResourceManager没有启动 

不过不要担心

只需要在master 下执行

yarn-daemon.sh start nodemanager 即可

ok 我们可以

使用

hadoop dfsadmin -report 查看状态

web界面 master:50070/50030

Ok到此 就完成了

可以使用测试案例 测试一下试试

另外 记住 如果是 出现错误 http://blog.csdn.net/jiedushi/article/details/7496327 可以参考一下这篇博客


hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount  /user/wordcount/in /user/wordcount/out


下面是几张图

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

 

hadoop2.5.0 centOS系列 分布式的安装 部署

标签:des   style   blog   http   color   os   io   使用   java   

原文地址:http://my.oschina.net/yilian/blog/310189

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!