大型互联网技术架构4-分布式存储-II; 分布式文件系统 - Google GFS; 分布式键值系统- Alibaba Tair;分布式表格系统- Google BigTable /Megastore;分布式数据库系统-Google Spanner / F1...
分类:
其他好文 时间:
2016-06-27 09:11:36
阅读次数:
501
HA含义为在集群服务器架构中,当主服务器故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务。(1)基本安装Server1和server2为HighAvailability的两个节点在两个节点上配置完整的rhel6.5的yum源,安装ricci,创建ricci用户,密码westos..
分类:
其他好文 时间:
2016-06-16 08:04:17
阅读次数:
275
一直听说过分布式由于找工作需要所以学习,都知道有分布式集群(Hdoop)、分布式存储(GFS,NFS)、分布式数据库(Hbase,redis,memcaced)、分布式系统、分布式软件等,今天开始后续的学习。分布式就是分开了、分散了、比如数据处理(北京搞北京、天津搞天津),比如集群(一个人干一件事..
分类:
其他好文 时间:
2016-06-14 06:31:53
阅读次数:
213
说到云计算可能很多的朋友不知道到底有什么作用,下面让我们和新霸哥一起回到最原始的位置来讨论究竟什么是云计算,云计算对于现在的很多公司到底意味着什么? 云计算有三条发展路径 第一:源于谷歌的GFS 谷歌为全球互联网用户提供搜索服务,可以看到在海量的数据中如何分析得到用户需要的资料,这就需要对大规模的数 ...
分类:
其他好文 时间:
2016-06-12 23:31:34
阅读次数:
165
Google Cloud 设计原理: 1.分布式文件系统: Google Distributed File System(GSF) 为了满足Google迅速增长的数据处理需求,我们设计并实现了Google文件系统(Google File System – GFS)。GFS与传统的分布式文件系统有着很 ...
分类:
其他好文 时间:
2016-05-17 00:36:58
阅读次数:
603
Linux文件系统:ext2,ext3,ext4,xfs,btrfs,reiserfs,jfs,swapswap:交换分区光盘:iso9660Windows:fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统:NFS,CIFS集群文件系统:GFS2,OCFS2分布式文件系统:ceph,moosefs,mogilefs,GlusterFS,Lustre根据其是否支持"journal"功能:日志型文件..
分类:
系统相关 时间:
2016-05-16 17:56:32
阅读次数:
359
一、RHCS集群的组成与结构RHCS集群组成:RHCS是一个集群工具的集合,主要有下面几大部分组成:1.集群架构管理器这是RHCS集群的一个基础套件,提供一个集群的基本功能,使各个节点组成集群一起工作,具体包括分布式集群管理器(CMAN)、成员关系管理、锁管理(DLM)、配置文件管理和..
分类:
其他好文 时间:
2016-05-15 12:41:48
阅读次数:
507
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年 ...
分类:
其他好文 时间:
2016-05-04 19:12:46
阅读次数:
155
摘要 我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们 ...
分类:
其他好文 时间:
2016-05-04 14:35:58
阅读次数:
314
一、什么是HBase HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapReduce 来处理Bi...
分类:
其他好文 时间:
2016-05-03 18:27:37
阅读次数:
193