文件系统中metadata是一个关键元素，每一个分布式文件系统的核心所在就是mds的设计。类似HDFS，Clustre，FastDFS等等分布式文件系统采用的是独立的mds架构，Ceph采用的是讲mds也分布开的设计架构，Gluster的设计是将metadata跟数据文件结合方式来存储，基本上只存跟本地文件有..
分类：
其他好文 时间：
2014-10-24 16:48:38
阅读次数：
1220
package com.luogankun.hadoop.hdfs.api;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.InputStream...
分类：
编程语言 时间：
2014-10-23 18:57:09
阅读次数：
191
[cloudil@hadoop164 caixianfeng]$ hdfs dfs -mkdir -p /csv-pig/tab1 /csv-pig/tab1tab1.csv:1,true,123.123,2012-10-24 08:55:00 2,false,1243.5,2012-10-25 1...
分类：
其他好文 时间：
2014-10-23 14:23:29
阅读次数：
187
今天重启了下Hadoop集群，使用Eclipse调试hdfs api的时候报错：[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org...
分类：
其他好文 时间：
2014-10-23 12:20:22
阅读次数：
254
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我..
分类：
其他好文 时间：
2014-10-22 18:31:34
阅读次数：
345
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
hadoop的hdfs中删除的文件恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件存在了hdfs的.Trash文件夹中，恢复时只需要将该文件夹中文件拿出即可。具体操作如下： 1?设置trash ????...
分类：
其他好文 时间：
2014-10-20 17:39:02
阅读次数：
317
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。Hadoop提供了一个文件系统接口和多个分布式文件系统实现，其中比较重要的就是HDFS（Hadoop Distributed Filesystem）了。Hadoop是一个综合性的文件系统抽象，因此它也可以集成其他文件系统的实现，如本地文件系统和Amazon S3系统及淘宝 TFS等。概念模型...
分类：
其他好文 时间：
2014-10-20 10:00:53
阅读次数：
281
HBase通常安装在Hadoop HDFS上，但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上，如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA。GlusterFS比Hadoop HDFS可以提供更高的性能，HBase也因此可以获得更高的性能。将HBase安装在GlusterFS上，是可行的。该方...
分类：
系统相关 时间：
2014-10-19 23:22:18
阅读次数：
372
