江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2015-05-15 21:17:32
阅读次数：
154
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论...
分类：
其他好文 时间：
2015-05-14 09:57:51
阅读次数：
211
Glusterfs 是一个具有可以扩展到几个PB数量级的集群文件系统。它可以把多个不同类型的存储块通过InfinibandRDMA或者TCP/IP汇聚成一个大的并行网络文件系统。一，Volume管理 数据的传输协议支持tcp和infinibandrdma协议。1，卷的三种类型：（1）distributedvolume 分布卷可以将..
分类：
其他好文 时间：
2015-05-08 00:15:08
阅读次数：
615
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现。 MapReduce是Google MapReduce的开源实现。 HDFS和...
分类：
其他好文 时间：
2015-05-07 14:19:24
阅读次数：
228
@BeforepublicvoidsetUpBeforeClass(){this.executeSqlScript("/net/atpco/dds/offline/filing/job/extraction/gfs-intergration.sql",true);}================================gfs-intergration.sqlupdateFREGRP.FARE_BTCHsetCHG_FARE_SEQ_CNT=1wherefare_btch_sgin(7160,7180..
分类：
数据库 时间：
2015-05-06 18:12:17
阅读次数：
233
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学...
分类：
其他好文 时间：
2015-04-25 16:38:11
阅读次数：
141
简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ? ??①?保存多个副...
分类：
其他好文 时间：
2015-04-13 19:09:44
阅读次数：
170
经典论文翻译导读之《Finding a needle in Haystack: Facebook’s photo storage》 【译者预读】面对海量小文件的存储和检索，Google发表了GFS，淘宝开源了TFS，而Facebook又是如何应对千亿级别的图片存储、每秒百...
分类：
Web程序 时间：
2015-04-07 17:54:33
阅读次数：
308
分布式系统学习必读文章！！！！原文:http://blog.sina.com.cn/s/blog_4ed630e801000bi3.html分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable谈到分布式系统，就不得不提Google的三驾马车:Google fs...
分类：
其他好文 时间：
2015-03-04 12:40:44
阅读次数：
219
