HDFS联邦HDFSHAHDFS快照回顾:HDFS两层模型Namespace:包括目录,文件和块.它支持所有命名空间相关的文件操作,如创建,删除,修改,查看所有文件和目录BlockStorageService(块存储服务)包括两部分1.在namenode中的块的管理提供datanode集群的注册,心跳检测等功能.处理块的报告信息和..
分类：
其他好文 时间：
2014-11-26 06:48:59
阅读次数：
140
配置HDFS联邦配置etc/hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value&g..
分类：
其他好文 时间：
2014-11-26 06:48:49
阅读次数：
155
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解bloc..
分类：
其他好文 时间：
2014-11-25 19:03:31
阅读次数：
253
/**
*LicensedtotheApacheSoftwareFoundation(ASF)underone
*ormorecontributorlicenseagreements.SeetheNOTICEfile
*distributedwiththisworkforadditionalinformation
*regardingcopyrightownership.TheASFlicensesthisfile
*toyouundertheApacheLicense,Version2.0(the
*"Li..
分类：
Windows程序 时间：
2014-11-25 18:56:07
阅读次数：
1077
XIV系列：《XIV（1）—HardwareOverview》《XIV（2）--Logicalsystemconcepts》之前的文章曾经说过HOST发过来的data会在XIV上存2份，即PrimaryCopy和SecondaryCopy。只有当这2份都同时存在时，系统才是FullRedundancy状态。那主机在XIV上读写数据分别是怎么进行的呢？请看本篇..
分类：
其他好文 时间：
2014-11-25 18:55:14
阅读次数：
283
Master节点Log篇 1.?? WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位：hdfs-si...
分类：
其他好文 时间：
2014-11-24 12:07:12
阅读次数：
230
Hadoop源码解读（二）>>>>>>>>>>FSDirectory这个类的作用就是用来维护HDFS的文件目录空间的，它始终保存当前的文件名和block块序列对应的一个map，并将之记入磁盘。
分类：
其他好文 时间：
2014-11-24 01:16:58
阅读次数：
164
一. MapReduce执行过程
MapReduce运行的时候, 会通过Mapper运行的任务读取HDFS中的数据文件, 然后调用自己的方法处理数据, 最后输出. Reduce任务会接受Mapper任务输出的数据, 作为自己输入的数据, 然后调用自己的方法, 最后输出到HDFS的文件中....
分类：
其他好文 时间：
2014-11-23 23:18:51
阅读次数：
314
spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs...
分类：
编程语言 时间：
2014-11-23 23:16:01
阅读次数：
396
以前总是用java写一些MapReduce程序现举一个例子使用Python通过Hadoop Streaming来实现Mapreduce。 任务描述： HDFS上有两个目录/a和/b，里面数据均有3列，第一列都是id，第二列是各自的业务类型(这里假设/a对应a，/b对应b)，第三列是一个jso...
分类：
编程语言 时间：
2014-11-23 13:07:40
阅读次数：
270
