Google文件系统GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。1、设计概览（1）设计想定GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用...
分类：
其他好文 时间：
2015-11-21 19:39:39
阅读次数：
197
引言前提和设计目标硬件错误流式数据访问大规模数据集简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性Namenode 和 Datanode文件系统的名字空间 (namespace)数据复制副本存放: 最最开始的一步副本选择安全模式文件系统元数据的持久化通讯协议健壮性磁盘数据错误，...
分类：
其他好文 时间：
2015-11-18 14:28:45
阅读次数：
216
恢复GlusterFS文件裂脑步骤1.执行如下命令，获取裂脑文件的路径。#glustervolumehealVOLNAMEinfosplit-brain客户端访问裂脑文件会报I/O错误。2.关闭在mount客户端访问裂脑文件的进程。如果有虚拟机正在使用裂脑文件，必须将虚拟机关闭。3.通过getfattr命令获取和验证扩展属性的..
分类：
其他好文 时间：
2015-11-17 19:16:18
阅读次数：
316
裂脑所谓脑裂，就是指两个或多个节点都“认为”自身是正常节点而互相“指责”对方，导致不能选取正确的节点进行接管或修复，导致脑裂状态。这种现象出现在数据修复、集群管理等等高可用场景。Glusterfs的冗余镜像（下文简称AFR）提供了数据副本功能，能够在即使只有一个冗余节..
分类：
其他好文 时间：
2015-11-17 19:15:14
阅读次数：
1593
# gluster volume rebalance VOLNAME start# gluster volume rebalance VOLNAME status# gluster volume rebalance VOLNAME stophttp://gluster.readthedocs.org...
分类：
其他好文 时间：
2015-11-16 12:27:47
阅读次数：
272
Hadoop有一个称为HDFS的分布式系统，全称为Hadoop Distributed Filesystem。HDFS有块（block）的概念，默认为64MB，HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元。使用块的好处在于：1. 一个文件大小可以大于集群网络中任意一个磁盘的容量，文件...
分类：
其他好文 时间：
2015-11-13 18:55:55
阅读次数：
309
二.分布式计算（Map/Reduce）分 布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按GoogleMap/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件 系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分...
分类：
其他好文 时间：
2015-11-12 20:03:39
阅读次数：
292
分布式基础学习所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为 框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已 可窥见其几分风韵，但终究还是由于...
分类：
其他好文 时间：
2015-11-12 19:44:42
阅读次数：
300
GlusterFS是一款非常易于使用的分布式文件存储系统，实现了全部标准POSIX接口，并用fuse实现虚拟化，让用户看起来就像是本地磁盘一样。因此程序想从本地磁盘切换到GlusterFS时是不用修改任何代码的，做到了无缝切换。并且让多台电脑的程序看起来在使用同一块硬盘，简化了很多逻..
分类：
其他好文 时间：
2015-11-12 16:18:17
阅读次数：
356
一、分布式文件系统：分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。计算机通过文件系统管理、存储数据，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大孝容量增长..
分类：
其他好文 时间：
2015-11-12 06:36:57
阅读次数：
468
