分布式文件系统 Google File System：是由google开发并设计的一个面向大规模数据处理的一个分布式文件系统。 我们首先来简单的说明一下这个分布式，我们都知道现在要存储的数据量越来越大，但是一台电脑的存储能力是有限的，尽管我们可以通过提高某台电脑的存储能力来解决这个问题，但是这是.....
分类：
其他好文 时间：
2014-08-17 23:58:03
阅读次数：
440
??本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。设计要点:性能提高性能的方法就是并行，讲一个任务分解成多个任务，同一时候运行。GFS中的思路是将文件分块,每一个块是一个chunk,每一个chunk单独保存，保存chu...
分类：
其他好文 时间：
2014-08-17 18:22:42
阅读次数：
293
在构建iSCSI存储集群时，请勿在gfs2中使用selinux
分类：
系统相关 时间：
2014-08-13 12:30:56
阅读次数：
243
Hadoop+Lucene+NutchHadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。Lucene是一个Java高性能全文...
分类：
其他好文 时间：
2014-08-10 23:51:50
阅读次数：
316
集群或者多个集群指的是运行红帽高可用性附加组件的一组计算机。实验环境：rhel6.5iptables&selinuxdisabled实验主机：192.168.2.251（luci节点）192.168.2.137192.168.2.138（ricci节点）三台主机都必须配置高可用yum源：[base]name=InstructorServerRepositorybaseurl=ht..
分类：
其他好文 时间：
2014-08-07 19:23:01
阅读次数：
430
命令行管理和维护RHCS集群1、启动RHCS集群RHCS集群的核心进程有cman和rgmanager，要启动集群，一次在集群的每个节点上执行如下命令：servicecmanstartservicergmanagerstart执行着两个命令是有先后顺序的，要先启动cman，然后再启动rgmanager。[root@web1~]#servicecmanstar..
分类：
其他好文 时间：
2014-08-01 20:12:12
阅读次数：
754
为什么要集群文件系统，在什么场景中适用我就用一句话来概括，当多个节点需要读写同一个文件系统时，需要使用集群文件系统，它可以将文件系统持有的锁信息传递到各个节点。实验一、将iSCSI共享出来的磁盘，做成gfs2文件系统，实现多个节点可挂载同一个文件系统，保证数据同步实..
分类：
其他好文 时间：
2014-07-30 14:59:14
阅读次数：
418
HDFS（GFS） Python实现实现了HDFS的最基本的功能。具体的每一步的实现过程可以在这里看到https://github.com/DanielJyc/HDFS。每一个commit都可以执行，算是记录了自己的实现过程。总体的设计框图如下：总体设计操作：上传文件到HDFS：upload?fil...
分类：
编程语言 时间：
2014-07-27 10:11:12
阅读次数：
308
006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTab...
分类：
其他好文 时间：
2014-07-26 09:54:57
阅读次数：
376
在构建iSCSI存储集群时，请勿在gfs2中使用selinux...
分类：
系统相关 时间：
2014-07-23 13:23:06
阅读次数：
238
