Hadoop有一个称为HDFS的分布式系统，全称为Hadoop Distributed Filesystem。HDFS有块（block）的概念，默认为64MB，HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元。使用块的好处在于：1. 一个文件大小可以大于集群网络中任意一个磁盘的容量，文件...
分类：
其他好文 时间：
2015-11-13 18:55:55
阅读次数：
309
二.分布式计算（Map/Reduce）分 布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按GoogleMap/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件 系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分...
分类：
其他好文 时间：
2015-11-12 20:03:39
阅读次数：
292
分布式基础学习所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为 框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已 可窥见其几分风韵，但终究还是由于...
分类：
其他好文 时间：
2015-11-12 19:44:42
阅读次数：
300
一、分布式文件系统：分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。计算机通过文件系统管理、存储数据，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大孝容量增长..
分类：
其他好文 时间：
2015-11-12 06:36:57
阅读次数：
468
官网：http://www.moosefs.org1、MooseFS是什么一个类MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本，然而对于访问MFS的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一..
分类：
其他好文 时间：
2015-11-11 22:24:04
阅读次数：
420
MFS分布式文件系统之安装部署MooseFileSystem是一个具备容错功能的网络分布式文件系统，它将数据分布在网络中的不同服务器上管理服务器（managingserver）负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝元数据日志服务器（Metaloggerserver）负责..
分类：
其他好文 时间：
2015-11-11 22:22:32
阅读次数：
404
一、简介FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分..
分类：
其他好文 时间：
2015-11-11 06:40:14
阅读次数：
715
HDFS全称是Hadoop Distributed File System。作为分布式文件系统，具有高容错性的特点。它放宽了POSIX对于操作系统接口的要求，可以直接以流（Stream）的形式访问文件系统中的数据。HDFS能快速检测到硬件故障，也就是数据节点的Failover，并且自动恢复数据访问。...
分类：
其他好文 时间：
2015-11-08 23:54:05
阅读次数：
215
一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，JavaRPC和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue：分布式数据处理模型和执行环境，运行于大型商用机集群HDFS：分布式文件系统，运行..
分类：
其他好文 时间：
2015-11-07 19:08:48
阅读次数：
220
Hadoop文件系统简介Hadoop家族中，最重要的两部分内容就是MapReduce和HDFS，其中MapReduce是一种编程范型，这种范型比较适合用来在分布式环境下进行批处理计算。另一部分就是HDFS，即hadoop分布式文件系统。Hadoop环境下可以兼容多种文件系统，包括本地文件系统，体现在...
分类：
其他好文 时间：
2015-11-06 11:00:43
阅读次数：
195
