目前常见的分布式文件系统有很多种，例如我之前一篇文章里面提到的Hadoop、FastDFS、Moosefs、PNFS(ParallelNFS）、Lustre、TFS、GFS、HDFS等等一系列。在众多的分布式文件系统解决方案中，MFS是搭建比较简单、使用起来也不需要过多的修改web程序，非常方便。MooseFS(MFS)是一..
分类：
其他好文 时间：
2016-07-11 01:38:40
阅读次数：
476
引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon ...
分类：
其他好文 时间：
2016-06-28 18:17:12
阅读次数：
203
大型互联网技术架构4－分布式存储-II; 分布式文件系统 － Google GFS; 分布式键值系统－ Alibaba Tair;分布式表格系统－ Google BigTable /Megastore;分布式数据库系统－Google Spanner / F1...
分类：
其他好文 时间：
2016-06-27 09:11:36
阅读次数：
501
一直听说过分布式由于找工作需要所以学习，都知道有分布式集群(Hdoop)、分布式存储(GFS,NFS)、分布式数据库(Hbase,redis,memcaced)、分布式系统、分布式软件等，今天开始后续的学习。分布式就是分开了、分散了、比如数据处理(北京搞北京、天津搞天津)，比如集群(一个人干一件事..
分类：
其他好文 时间：
2016-06-14 06:31:53
阅读次数：
213
说到云计算可能很多的朋友不知道到底有什么作用，下面让我们和新霸哥一起回到最原始的位置来讨论究竟什么是云计算，云计算对于现在的很多公司到底意味着什么？ 云计算有三条发展路径 第一：源于谷歌的GFS 谷歌为全球互联网用户提供搜索服务，可以看到在海量的数据中如何分析得到用户需要的资料，这就需要对大规模的数 ...
分类：
其他好文 时间：
2016-06-12 23:31:34
阅读次数：
165
Google Cloud 设计原理： 1.分布式文件系统： Google Distributed File System(GSF) 为了满足Google迅速增长的数据处理需求，我们设计并实现了Google文件系统(Google File System – GFS)。GFS与传统的分布式文件系统有着很 ...
分类：
其他好文 时间：
2016-05-17 00:36:58
阅读次数：
603
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google的GFS论文，发表于2003年 ...
分类：
其他好文 时间：
2016-05-04 19:12:46
阅读次数：
155
摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们 ...
分类：
其他好文 时间：
2016-05-04 14:35:58
阅读次数：
314
一、什么是HBase HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bi...
分类：
其他好文 时间：
2016-05-03 18:27:37
阅读次数：
193
最近看完了杨传辉老师写的《大规模分布式存储系统》一书，发现里面很多知识点和之前看的《大型网站系统与Java中间件》有很多相通之处，也渐渐加 深了我对分布式技术的兴趣。但无奈分布式涵盖范围太广了，分布式存储、分布式计算、CAP理论、Paxos算法、什么GFS、Hadoop、 Dynamo、BigTab ...
分类：
其他好文 时间：
2016-04-30 12:50:59
阅读次数：
298
