引言随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后推出了新一代的Hadoop2.x。从业界使用分布式系统的变化趋势和hadoop框架的长远发展来看，MapReduce的JobTracker/TaskTracker机制需要大规模的..
分类：
其他好文 时间：
2016-04-21 11:55:33
阅读次数：
242
环境： Hadoop1.x，CentOS6.5，三台虚拟机搭建的模拟分布式环境 数据：任意数量、格式的文本文件（我用的四个.java代码文件） 方案目标： 根据提供的文本文件，提取出每个单词在哪个文件中出现了几次，组成倒排索引，格式如下 Ant FaultyWordCount.java : 1 , ...
分类：
其他好文 时间：
2016-04-16 22:56:37
阅读次数：
277
环境： Hadoop1.x，CentOS6.5，三台虚拟机搭建的模拟分布式环境，gnuplot， 数据：http://ita.ee.lbl.gov/html/contrib/NASA-HTTP.html 方案目标： 提供的blog数据是简单的文件请求访问数据 205.189.154.54 - - [ ...
分类：
其他好文 时间：
2016-04-16 12:24:35
阅读次数：
203
1.课程环境 本课程涉及的技术产品及相关版本： 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0 ...
分类：
其他好文 时间：
2016-04-12 07:06:19
阅读次数：
372
1 概述 在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有 secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了 HA机制。hadoop2.0的HA机制官方介绍了有2 ...
分类：
其他好文 时间：
2016-04-10 01:15:51
阅读次数：
261
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 ...
分类：
其他好文 时间：
2016-04-07 20:25:22
阅读次数：
131
1. 下载源码： wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz 2. 免登陆ssh配置： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/ ...
分类：
其他好文 时间：
2016-03-28 13:21:27
阅读次数：
201
hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考： http://www.cnblogs.com/liuxinan/p/52
分类：
其他好文 时间：
2016-03-21 18:18:07
阅读次数：
203
Hadoop1.0最新稳定版本1.2.1 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce Hadoop2.0稳定版本2.2.0 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce 4.YARN H
分类：
其他好文 时间：
2016-03-20 21:17:58
阅读次数：
224
通过thrift远程调用框架，结合hadoop1.x中的thriftfs，编写了一个针对hadoop2.x的thriftfs，供外部程序调用
