作为linux和hadoop小白,初次安装hadoop真是心累,用了两天时间才安装成功。下面就介绍下Hadoop安装:
一、机器配置和安装说明
一台笔记本、 vmware 、I7处理器 。centos—7系统。hadoop使用2.7.2
二、利用vmware 安装 三个节点。(此处可以先建立一个centos虚拟机,因为后面需要安装jdk,hadoop,还要配...
分类:
其他好文 时间:
2016-04-08 15:10:39
阅读次数:
218
本文转载自http://blog.csdn.net/liuwenbo0920/article/details/40504045 1.安装准备工作: 已经装好的hadoop环境是hadoop 2.2.0下载的sqoop安装包(注意是hadoop200) 下载sqoop wget http://mirr ...
分类:
其他好文 时间:
2016-04-08 11:36:57
阅读次数:
264
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 ...
分类:
其他好文 时间:
2016-04-07 20:25:22
阅读次数:
131
在使用windows调用Hadoop yarn平台的时候,一般都会遇到如下的错误: 这个错误在Hadoop mapreduce bug的信息页面(https://issues.apache.org/jira/browse/MAPREDUCE-5655)已经解决了,且影响的版本是Hadoop2.2、H ...
一、获取hbase的官方安装文件网址:http://mirrors.cnnic.cn/apache/hbase/[hadoop@master~]$wgethttp://mirrors.cnnic.cn/apache/hbase/0.98.18/hbase-0.98.18-hadoop2-bin.tar.gz[hadoop@master~]$lsfilehbase-0.98.18-hadoop2-bin.tar.gzid_dsa.pub二、切换到root用户,拷贝..
分类:
其他好文 时间:
2016-04-05 02:16:48
阅读次数:
257
软件安装版本: hadoop-2.5.1 hbase-0.98.12.1-hadoop2 apache-hive-1.2.1-bin SQuirreL SQL Client3.7 集成步骤: 1. SQuirreL 中添加Drivers,将hive_home/lib 下所有jar 添加至 extra ...
分类:
其他好文 时间:
2016-04-04 17:45:50
阅读次数:
205
参考http://www.powerxing.com/install-hadoop/ 安装环境: ubuntu 14.04 ,64位 下载: Oracle JDK 1.7 hadoop2.6 1、安装jdk。 将jdk的tar.gz包解压缩到/usr/lib/jvm/下,重命名为java, 在~/. ...
分类:
其他好文 时间:
2016-04-03 20:07:54
阅读次数:
126
一、安装环境变量: yum install gcc yum install gcc-c++ yum install make yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openss ...
分类:
其他好文 时间:
2016-04-02 17:38:43
阅读次数:
423
1、hadoop环境搭建,版本:2.6.2,参考:http://www.cnblogs.com/bookwed/p/5251393.html 启动服务:在master机器上,进入hadoop安装目录,执行命令:./sbin/start-all.sh 查看是否启动成功:jps 2、zookeeper环 ...
分类:
其他好文 时间:
2016-03-30 12:31:32
阅读次数:
112
最近在学习hadoop,用的hadoop2.6.0 然后在学习编写mapreduce程序时,发现默认对文件的输入是采用每行进行分割,下面来分析下改变这个分割方式的办法: 来看看默认是怎样实现的: 如果不使用Job的setInputFormatClass()设置,默认的InputFormat类是使用T ...
分类:
其他好文 时间:
2016-03-29 21:05:52
阅读次数:
158