HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解bloc..
分类：
其他好文 时间：
2014-11-25 19:03:31
阅读次数：
253
/**
*LicensedtotheApacheSoftwareFoundation(ASF)underone
*ormorecontributorlicenseagreements.SeetheNOTICEfile
*distributedwiththisworkforadditionalinformation
*regardingcopyrightownership.TheASFlicensesthisfile
*toyouundertheApacheLicense,Version2.0(the
*"Li..
分类：
Windows程序 时间：
2014-11-25 18:56:07
阅读次数：
1077
XIV系列：《XIV（1）—HardwareOverview》《XIV（2）--Logicalsystemconcepts》之前的文章曾经说过HOST发过来的data会在XIV上存2份，即PrimaryCopy和SecondaryCopy。只有当这2份都同时存在时，系统才是FullRedundancy状态。那主机在XIV上读写数据分别是怎么进行的呢？请看本篇..
分类：
其他好文 时间：
2014-11-25 18:55:14
阅读次数：
283
Master节点Log篇 1.?? WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位：hdfs-si...
分类：
其他好文 时间：
2014-11-24 12:07:12
阅读次数：
230
Hadoop源码解读（二）>>>>>>>>>>FSDirectory这个类的作用就是用来维护HDFS的文件目录空间的，它始终保存当前的文件名和block块序列对应的一个map，并将之记入磁盘。
分类：
其他好文 时间：
2014-11-24 01:16:58
阅读次数：
164
一. MapReduce执行过程
MapReduce运行的时候, 会通过Mapper运行的任务读取HDFS中的数据文件, 然后调用自己的方法处理数据, 最后输出. Reduce任务会接受Mapper任务输出的数据, 作为自己输入的数据, 然后调用自己的方法, 最后输出到HDFS的文件中....
分类：
其他好文 时间：
2014-11-23 23:18:51
阅读次数：
314
spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs...
分类：
编程语言 时间：
2014-11-23 23:16:01
阅读次数：
396
以前总是用java写一些MapReduce程序现举一个例子使用Python通过Hadoop Streaming来实现Mapreduce。 任务描述： HDFS上有两个目录/a和/b，里面数据均有3列，第一列都是id，第二列是各自的业务类型(这里假设/a对应a，/b对应b)，第三列是一个jso...
分类：
编程语言 时间：
2014-11-23 13:07:40
阅读次数：
270
由于目前公司大量的数据存储在HBase中，各个业务线需要对HBase进行即时查询，但是又不方便实现自己的基于HBase Client的API的数据访问实现，他们希望能够像Hive对HDFS中的数据进行ETL一样，可以对HBase中的数据进行SQL操作 我们最初考虑的方式是Hive On HBa...
分类：
其他好文 时间：
2014-11-21 12:27:24
阅读次数：
190
Hadoop读书笔记（四）HDFS体系结构。
纯文字性描述，无图无分析，仅作个人初学习记忆和参考...
分类：
其他好文 时间：
2014-11-20 23:46:54
阅读次数：
153
