转自：真名：余昭辉 网名：横刀天笑Google的三篇论文影响了很多很多人，也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce，于是我们有了 Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase。而在这三篇论文里都提及Google...
分类：
其他好文 时间：
2015-12-28 00:55:22
阅读次数：
171
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学...
分类：
其他好文 时间：
2015-12-28 00:47:59
阅读次数：
245
2006年的OSDI有两篇google的论文，分别 是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统， 构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了Big...
分类：
其他好文 时间：
2015-12-28 00:43:30
阅读次数：
307
谈到分布式系统，就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文。而且，Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Map...
分类：
其他好文 时间：
2015-12-25 16:34:38
阅读次数：
192
Linux运维第五阶段（九）iSCSI&cLVM&gfs2gfs2（globalfilesystemversion2，全局文件系统，CFS集群文件系统，利用HA的信息层，向各node通告自己所持有锁的信息）cLVM（clusterlogicalvolumemanagement，集群逻辑卷管理，将共享存储做成逻辑卷，借用HA的心跳传输机制（通..
分类：
系统相关 时间：
2015-12-19 15:15:28
阅读次数：
395
Google文件系统GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。1、设计概览（1）设计想定GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用...
分类：
其他好文 时间：
2015-11-21 19:39:39
阅读次数：
197
gfs2+cman+rgmanager+iscsi实现文件集群主机名ip角色SMB2172.31.200.66samba服务器1SMB2172.31.200.67samba服务器2SAN172.31.88.61SAN存储分区由于SAN是测试环境中划分出来的SAN,所以在此次测试中不需要安装配置以下是对SMB1、SMB2两台samba文件服务器进行配置SMB1上配置在客户..
分类：
其他好文 时间：
2015-11-19 11:27:58
阅读次数：
1004
今天查找分布式计算的有关资料，发现Google的三大核心技术MapReduce、GFS和BigTable的论文都已经被翻译成高质量的中文，更巧的是，这三篇中译版的原发地都是CSDN的Blog。其中最新的一篇是张凌云在一个月之前发表的MapReduce论文，最早的一篇是Xu Lei发表于2005年11...
分类：
其他好文 时间：
2015-11-18 00:51:35
阅读次数：
209
分布式基础学习所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为 框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已 可窥见其几分风韵，但终究还是由于...
分类：
其他好文 时间：
2015-11-12 19:44:42
阅读次数：
300
「后端分布式系列」前面关于 HDFS 的一些文章介绍了它的整体架构和一些关键部件的设计实现要点。
我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。
然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下：
HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Mast...
分类：
其他好文 时间：
2015-10-14 00:26:38
阅读次数：
191
