为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现Tool接口，通过ToolRunner来运行应用程序，ToolRunner内部调用GenericOptionsPars...
分类：
其他好文 时间：
2014-08-22 13:04:18
阅读次数：
693
行存储如图2所示，基于Hadoop系统行存储结构的优点在于快速数据加载和动态负载的高适应能力，这是因为行存储保证了相同记录的所有域都在同一个集群节点，即同一个HDFS块。不过，行存储的缺点也是显而易见的，例如它不能支持快速查询处理，因为当查询仅仅针对多列表中的少数几列时，它不能跳过不必要的列读取；此...
分类：
其他好文 时间：
2014-08-22 12:45:56
阅读次数：
285
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高 度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐....
分类：
其他好文 时间：
2014-08-22 12:29:26
阅读次数：
260
?简介：VMware可以在个人本地一台笔记本机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比，VMWare采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。VMWare是真正“同时”运行，多个操作系统在主系统的平台上，就象标准Windows应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配置而不影响真实硬盘的数据...
分类：
系统相关 时间：
2014-08-22 10:53:46
阅读次数：
429
HDFS Rolling Upgrade
Introduction
HDFS 滚动升级允许单独升级每一个HDFS进程。例如，DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。
Upgrade
在Hadoop V2中，HDFS支持NameNode服务的HA和前后兼容...
分类：
其他好文 时间：
2014-08-22 10:51:26
阅读次数：
172
自从VMware在2013年的全球用户大会上推出vSphereBigDataExtention（BDE）以来，大数据这匹骏马越来越受到大家的追捧。当然BDE主要针对是Hadoop的大数据应用，其实大数据不仅仅是Hadoop，即使只算Hadoop也还有不同的发布版本。但是无论Hadoop的哪个版本或者哪个大数据平台，都蜂..
分类：
其他好文 时间：
2014-08-22 02:56:46
阅读次数：
184
配置主机映射关系
[hadoop@slave03~]$cat/etc/hosts
127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
10.15.5.200master.hadoop
10.15.5.201slave01.hadoop
10.15.5.202slave02.hadoop
10.15.5.203slave03.hadoop如上有4台主机，每台hosts都已经编..
分类：
其他好文 时间：
2014-08-22 02:49:05
阅读次数：
213
1、hadoop插件的参数配置 2、运行时的参数 3、运行结果
核心功能描述 应用程序通常会通过提供map和reduce来实现Mapper和Reducer接口，它们组成作业的核心。 Map是一类将输入记录集转换为中间格式记录集的独立任务。 这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或多个输出键值对。Hadoop .....
分类：
其他好文 时间：
2014-08-21 18:40:34
阅读次数：
756
TDW 是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源...
分类：
其他好文 时间：
2014-08-21 16:39:04
阅读次数：
252
