HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HB...
分类：
数据库 时间：
2015-03-03 15:05:05
阅读次数：
225
一、Hadoop来历
在没有Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce的思想来计算Page Rank，通过不断的演变Google带给我们了GFS、Map-Reduce、Bigtable这三大的关键技术和思想。由于Google...
分类：
编程语言 时间：
2015-02-23 16:43:57
阅读次数：
234
谷歌技术"三宝"之BigTable2006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多...
分类：
其他好文 时间：
2015-02-12 13:51:17
阅读次数：
368
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学...
分类：
其他好文 时间：
2015-02-12 13:47:41
阅读次数：
141
Hadoop是Apache Lucene创始人Doug Cutting创建的，Hadoop起源于Apache Nutch，一个开源的网络搜索引擎。最先引起注意是2003年google的一篇论文，该论文实现了谷歌分布式文件系统，也就是GFS，2004年，他们开始着手实现一个开源的实现，也就是HDFS,...
分类：
其他好文 时间：
2015-02-04 23:15:13
阅读次数：
309
文件分割与合并是一个常见需求，比如：上传大文件时，可以先分割成小块，传到服务器后，再进行合并。很多高大上的分布式文件系统（比如：google的GFS、taobao的TFS）里，也是按block为单位，对文件进行分割或合并。看下基本思路：如果有一个大文件，指定分割大小后（比如：按1M切割）step 1...
分类：
编程语言 时间：
2015-02-02 15:45:16
阅读次数：
265
分布式文件系统架构GFS、HDFS、TFS、Haystack
分布式文件系统很多，包括GFS，HDFS，淘宝开源的TFS，Tencent用于相册存储的TFS (Tencent FS，为了便于区别，后续称为QFS)，以及Facebook Haystack。
分布式文件系统通常可以作为底层存储，如GFS作为Google bigtable的底层，EBS作为 Amazon ...
分类：
Web程序 时间：
2015-01-28 21:28:07
阅读次数：
577
简介：本文是对大数据领域的基础论文的阅读总结，相关论文包括GFS，MapReduce、BigTable、Chubby、SMAQ。大数据出现的原因： 大多数的技术突破来源于实际的产品需要，大数据最初诞生于谷歌的搜索引擎中。随着web2.0时代的发展，互联网上数据量呈献爆炸式的增长，为了满足信息搜...
分类：
其他好文 时间：
2015-01-27 20:07:31
阅读次数：
150
