HDFS（GFS） Python实现实现了HDFS的最基本的功能。具体的每一步的实现过程可以在这里看到https://github.com/DanielJyc/HDFS。每一个commit都可以执行，算是记录了自己的实现过程。总体的设计框图如下：总体设计操作：上传文件到HDFS：upload?fil...
分类：
编程语言 时间：
2014-07-27 10:11:12
阅读次数：
308
最近研究了下NameNodeHAAutomaticFailover方面的东西，当ActiveNN因为异常或其他原因不能正常提供服务时，处于Standby状态的NN就可以自动切换为Active状态，从而到达真正的高可用NNHAAutomaticFailover架构图为了实现自动切换，需要依赖ZooKeeper和ZKFC组件，ZooKeeper主要用来..
分类：
其他好文 时间：
2014-07-26 03:27:38
阅读次数：
392
从本地上传整个文件夹到hdfs的java程序...
分类：
编程语言 时间：
2014-07-26 03:04:06
阅读次数：
203
把程序打成jar包放到Linux上
转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar hdfs://ubuntu:9000/out06/count/
上面一个是本地文件，一个是上传hdfs位置
成功后出现：打印出来，你所要打印的字符。
package com.clq.hdfs;
import java...
分类：
编程语言 时间：
2014-07-26 02:27:17
阅读次数：
270
InputFormat这个类是用来处理Map的输入数据的，任务开始时，InputFormat先将HDFS里所有输入文件里的数据分割成逻辑上的InputSpilt对象
这里的split是HDFS中block的部分或者一整块或几个快中的数据的逻辑分割，一个split对应于一个Map，所以Map的数量是由split的数量决定的。
那么怎样去确定InputSpilt的个数呢，下面列出于split个...
分类：
其他好文 时间：
2014-07-25 11:03:11
阅读次数：
204
《大 数据技术丛书：Hadoop应用开发技术详解》共12章。第1～2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置；第3章是 MapReduce的使用入门，让读者了解整个开发过程；第4～5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O；第6章分析了 MapReduce的工...
分类：
其他好文 时间：
2014-07-24 11:25:42
阅读次数：
337
最近在写一些hadoop的运维工具，考虑到hadoop本身是java编写的，api比较方便，可以直接拿来就用准备用java来写。今天测试了几个fs相关的类。主要有FileStatus,FileSystem,DistributedFileSystem,DatanodeInfo,BlockLocationFileStatus是和文件的属性相关的类，比如文件的名称，..
分类：
编程语言 时间：
2014-07-24 10:49:36
阅读次数：
303
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上，然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程：1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类：
其他好文 时间：
2014-07-22 22:36:13
阅读次数：
406
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0...
分类：
其他好文 时间：
2014-07-22 14:38:19
阅读次数：
179
