Google GFS文件系统深入分析现在云计算渐成潮流，对大规模数据应用、可伸缩、高容错的分布式文件系统的需求日渐增长。Google根据自身的经验打造的这套针对大量廉价客户机的Google GFS文件系统已经广泛的在Google内部进行部署，对于有类似需求的企业而言有相当的参考价值。AD：51CTO...
分类：
其他好文 时间：
2015-06-21 22:26:22
阅读次数：
585
Description在一片美丽的大陆上有 $100000$ 个国家，记为 $1$ 到 $100000$。这里经济发达，有数不尽的账房，并且每个国家有一个银行。某大公司的领袖在这 $100000$ 个银行开户时都存了 $3$ 大洋，他惜财如命，因此会不时地派小弟 GFS 清点一些银行的存款或者让 G...
分类：
其他好文 时间：
2015-06-21 11:52:24
阅读次数：
125
HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件...
分类：
其他好文 时间：
2015-06-15 14:25:26
阅读次数：
93
声明：此文转载自博客开发团队的博客，尊重原创工作。该文适合学分布式系统之前，作为背景介绍来读。 谈到分布式系统，就不得不提Google的三驾马车:Google FS[1],MapReduce[2],Bigtable[3]。 虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详...
分类：
其他好文 时间：
2015-06-11 12:54:11
阅读次数：
130
对于hadoop，我也处于了解学习中，参考大量资料，现在同大家分享下学习内容。
Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞
吐量的数据访问，适合存...
分类：
其他好文 时间：
2015-05-31 09:19:53
阅读次数：
129
一、环境主机：四台linuxCentos6.5主机网络：Openstack.storage：IP1:152.55.249.64RHCS管理和存储节点IP2:192.168.249.64Openstack.node1：IP1:152.55.249.65业务1IP2:192.168.249.65Openstack.node2:IP1:152.55.249.66业务2IP2:192.168.249.65Openstack.node2:IP1:152.55.249..
分类：
其他好文 时间：
2015-05-29 06:23:19
阅读次数：
294
我们上面通过图形界面实现了GFS，我们这里使用字符界面实现1.1.系统基础配置5台节点均采用相同配置。配置/etc/hosts文件#vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.locald..
分类：
其他好文 时间：
2015-05-29 06:22:47
阅读次数：
430
六、安装存储管理管理软件，并导出磁盘[root@manager~]#fdisk/dev/xvdc\\存储节点挂有磁盘，空间1T[root@manager~]#yuminstallscsi-target-utils-y\\安装target管理端[root@manager~]#vim/etc/tgt/targets.conf\\配置导出磁盘的信息其中backing-store指定共享的磁盘，incomingu..
分类：
其他好文 时间：
2015-05-29 06:20:57
阅读次数：
445
0.简介
FastDFS是一个应用级分布式文件存储服务，其采用中心型结构（类似GFS、HDFS、TFS等），主要用于大中型网站存储资源文件。FastDFS具有轻量级，支持高并发放访问，负载均衡，可扩展等优点。而FastDFS最大的亮点就是对小文件的存储性能较好，这主要来自于其文件名策略。
1.小文件存储性能优化
小文件的性能瓶颈主要来自于对元数据服务器（如FastDFS中的Tra...
分类：
其他好文 时间：
2015-05-27 19:13:21
阅读次数：
179
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2015-05-19 12:27:03
阅读次数：
108
