准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh】
下载稳定版2.6.0
修改etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
启动
验证
下面主要配置文件:
core-site.xml:
fs.defau...
分类:
其他好文 时间:
2015-05-23 18:29:52
阅读次数:
215
1.Hbase简介1.面向列的分布式数据库2. 以HDFS作为文件系统3. 利用MapReduce处理Hbase中海量数据4. ZookKeeper作为协调工具5. sqoop提供Hbase到关系型数据库中数据导入功能6. Hive和pig提供高层语言支持如HSQL2. 伪分布式安装准备: 安装Ha...
分类:
其他好文 时间:
2015-05-19 10:16:37
阅读次数:
153
本文地址:http://www.cnblogs.com/myresearch/p/hadoop-standalone-pseudo-distributed-operation.html,转载请注明源地址。基本环境配置可以使用命令uname -a 查看linux的版本:master@ubuntu:~$...
分类:
其他好文 时间:
2015-05-14 11:47:23
阅读次数:
184
一.安装JDK,配置环境JAVA环境变量exportJAVA_HOME=/home/jdk1.6.0_27exportJRE_HOME=/home/jdk1.6.0_27/jreexportANT_HOME=/home/apache-ant-1.8.2exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH二.安装Hadoop-1.0.31.下载hadoop文件,地址为:http://hadoop.ap..
分类:
其他好文 时间:
2015-05-06 18:16:03
阅读次数:
294
问题导读1.从本文部署实际部署,总结本地模式、伪分布、分布式的区别是什么?2.单机是否是伪分布?3.本地模式是否可以运行mapreduce?来源:about云http://www.aboutyun.com/thread-12798-1-1.htmlhadoop2.7发布,这一版不太适合用于生产环境,...
分类:
其他好文 时间:
2015-05-01 10:39:24
阅读次数:
175
环境
系统: Ubuntu 15.04 32bit
Hadoop版本: hadoop-2.5.2.tar.gz
JDK版本: jdk-8u-45-linux-i586.tar.gz
Hive版本:apache-hive-0.14.0-bin.tar.gz
MySQL版本:Open-MySQL
STEP 1:安装JDK
1.配置安装JDK,将JDK解压,
tar...
分类:
系统相关 时间:
2015-04-29 17:12:20
阅读次数:
240
原文:http://disi.unitn.it/~lissandrini/notes/installing-hadoop-on-ubuntu-14.html This guide is shows step by step how to set up a multi nod cluster with Hadoop and HDFS 2.4.1 on Ubuntu 14.04. It i...
分类:
其他好文 时间:
2015-04-25 18:32:59
阅读次数:
175
在CentOS-64bit上编译 Hadoop-2.5.0源代码,并分布式安装...
分类:
其他好文 时间:
2015-04-24 21:15:31
阅读次数:
125
摘要 CentOS7-64bit 编译 Hadoop-2.5.0,并分布式安装 目录[-]1.系统环境说明2.安装前的准备工作2.1 关闭防火墙2.2 检查ssh安装情况,如果没有则安装ssh2.3 安装vim2.4 设置静态ip地址2.5 修改host名称2...
分类:
其他好文 时间:
2015-04-24 14:06:25
阅读次数:
110
1.hadoop的分布式安装过程1.1 分布结构主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节...
分类:
其他好文 时间:
2015-04-20 00:26:26
阅读次数:
156