副本机制1、副本摆放策略第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；第二副本：放置在于第一个副本不同的机架的节点上；第三副本：与第二个副本相同机架的不同节点上；如果还有更多的副本：随机放在节点中；2、副本系数1）对于上传文件到HDF...
分类：
其他好文 时间：
2014-10-24 23:29:26
阅读次数：
412
Apache HBase是Hadoop的分布式开源的存储管理工具，非常适合随机实时的io操作。
我们知道，Hadoop的Sequence File是一个顺序读写，批量处理的系统。但是为什么HBase能做到随机的，实时的io操作呢？
Hadoop底层使用Sequence File文件格式存储，Sequence File允许以追加的方式增加k-v（Key-Value）数据，根据hdfs的appen...
分类：
其他好文 时间：
2014-10-24 20:54:39
阅读次数：
269
文件系统中metadata是一个关键元素，每一个分布式文件系统的核心所在就是mds的设计。类似HDFS，Clustre，FastDFS等等分布式文件系统采用的是独立的mds架构，Ceph采用的是讲mds也分布开的设计架构，Gluster的设计是将metadata跟数据文件结合方式来存储，基本上只存跟本地文件有..
分类：
其他好文 时间：
2014-10-24 16:48:38
阅读次数：
1220
package com.luogankun.hadoop.hdfs.api;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.InputStream...
分类：
编程语言 时间：
2014-10-23 18:57:09
阅读次数：
191
[cloudil@hadoop164 caixianfeng]$ hdfs dfs -mkdir -p /csv-pig/tab1 /csv-pig/tab1tab1.csv:1,true,123.123,2012-10-24 08:55:00 2,false,1243.5,2012-10-25 1...
分类：
其他好文 时间：
2014-10-23 14:23:29
阅读次数：
187
今天重启了下Hadoop集群，使用Eclipse调试hdfs api的时候报错：[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org...
分类：
其他好文 时间：
2014-10-23 12:20:22
阅读次数：
254
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我..
分类：
其他好文 时间：
2014-10-22 18:31:34
阅读次数：
345
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
hadoop的hdfs中删除的文件恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件存在了hdfs的.Trash文件夹中，恢复时只需要将该文件夹中文件拿出即可。具体操作如下： 1?设置trash ????...
分类：
其他好文 时间：
2014-10-20 17:39:02
阅读次数：
317
