1.?????? JDK安装 JDK解压配置环境变量 vi /etc/profile 2.?????? 每台机器相关设置 1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信) vim /etc/sysconfig/netwo...
分类:
其他好文 时间:
2015-05-06 18:28:04
阅读次数:
262
版本: 使用hadoop1.1.2 JDK为java71.下载hadoop2.配置hadoop文件3测试1.下载hadoop: 1.1 在https://archive.apache.org/dist/hadoop/common/ 中下载hadoop1.1.2 , 这里注意要下载 hadoop的bi...
分类:
其他好文 时间:
2015-05-06 12:40:28
阅读次数:
157
1、安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我...
0 安装前提: jDK7 ,hadoop1.1.21 下载与hadoop对应的hbase版本:http://mirror.bit.edu.cn/apache/hbase/hbase-0.98.12/我这里使用的BIT大学的镜像, 下载与之对应的hbase包,bin代表已经编译过的,hadoop1代表...
分类:
其他好文 时间:
2015-05-04 23:44:56
阅读次数:
181
从4月28号搭建hadoop平台,到今天已经足足5天了,不断地改配置,敲命令,可以说真是人生一大快事吗?好了废话不多说,正式进入我的安装过程:目录:第一篇:Ubuntu13.1安装第二篇:SublimeText2安装第三篇:hadoop+jdk1.8.0安装+ssh无密码登录第四篇:出现的问题及解决办法(见..
分类:
系统相关 时间:
2015-05-03 19:09:11
阅读次数:
208
这篇博文主要是针对上篇博文Hadoop安装时出现的一些问题的解答问题一:ssh无密码登陆的问题在我生成密钥后,准备用ssh登录时,出现以下提示ssh:connecttohostlocalhostport22:Connectionrefused经查阅资料后发现,出现这种情况一般是三个原因造成的:1.sshd未安装2.sshd未启动3..
分类:
系统相关 时间:
2015-05-03 19:07:27
阅读次数:
243
一、前言
与Hadoop1.x相比,Hadoop2.x中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。这两个NameNode的地位如何哪?
答:一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNod...
分类:
其他好文 时间:
2015-04-29 11:50:48
阅读次数:
313
本例子采用hadoop1.1.2版本采用气象数据作为处理数据1、MultipleOutputs例子,具体解释在代码中有注释packageStationPatitioner;
importjava.io.IOException;
importjava.util.Iterator;
importorg.apache.hadoop.conf.Configured;
importorg.apache.hadoop.fs.Path;
importo..
分类:
其他好文 时间:
2015-04-28 00:02:16
阅读次数:
374
接上篇:ubuntu安装hadoop1.x(伪分布式)1.x和2.x在安装上差异不大,就是程序目录不大一样。hadoop1.x和2.x部分对应关系1.x2.xcore-site.xml${HADOOP_HOME}/conf/core-site.xml${HADOOP_HOME}/etc/hadoop...
分类:
系统相关 时间:
2015-04-24 16:00:47
阅读次数:
147
参考 kinglau - 二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)接上篇 ubuntu安装hadoop(单机)1. 配置core-site.xml# hadoop1.x.x 的配置文件都在 $HADOOP_HOME/conf/下,hadoop2.x.x 的配置文件都在 ...
分类:
系统相关 时间:
2015-04-24 15:45:19
阅读次数:
268