一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS2.01、解决HDFS1.0中单点故障和内存受限问题。2、解决单点故障HDFSHA通过主备NameNode解决如果主NameNode发生故..
分类：
其他好文 时间：
2015-03-21 21:29:17
阅读次数：
356
MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，....
分类：
其他好文 时间：
2015-03-21 21:09:37
阅读次数：
168
系统： Ubuntu 14.04 64bitHadoop版本： Hadoop 2.5.2 (stable)JDK版本： JDK 1.6
虚拟机及Ubuntu安装
1. 下载并安装 VMware workstation 11
下载地址：https://my.vmware.com/web/vmware/info/slug/desktop_end_user_computing/vmwar...
分类：
系统相关 时间：
2015-03-20 16:30:36
阅读次数：
429
Hadoop-2.6.0环境搭建所需资源：hadoop-2.6.0.tar.gz Hadoop-2.6.0-src.tar.gz jdk-8u40-linux-i586.tar.gz第一步：先安装配置JDK（如果事先有配置好JDK，这步可以略过） sudo mkdir /usr/lib/jvm su...
分类：
其他好文 时间：
2015-03-19 17:55:26
阅读次数：
199
一．环境系统：Ubuntu14.0432bitHadoop版本：Hadoop2.4.1(stable)JDK版本：1.7集群数量：3台注意事项：我们从Apache官方网站下载的Hadoop2.4.1是linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译。二....
分类：
系统相关 时间：
2015-03-18 20:01:13
阅读次数：
178
一、Hadoop的运行模式单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRedu...
分类：
系统相关 时间：
2015-03-18 14:04:49
阅读次数：
213
我的环境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html为了方面配置，...
分类：
系统相关 时间：
2015-03-14 12:18:41
阅读次数：
219
在配置hadoop2.6 ?,hive1.2的时候，会报一个错误。 Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was ex...
分类：
其他好文 时间：
2015-03-13 19:12:57
阅读次数：
545
1、 ?mvn package -Pdist,native,docs -DskipTests -Dtar -Dmaven.javadoc.skip=true ?Exit code: 1 - /home/lpf/devTool/hadoop-2.6.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apac...
分类：
其他好文 时间：
2015-03-12 19:28:58
阅读次数：
159
