Gluster的几种实现1.stripedvolume条带卷的实现如左图,条带卷内部的每一个文件都被分成4份用来保存,称为条带式存储。2、Replication如左图,条带卷内部的每一个文件在不同的server中各存一份。3、DistributedVolume如左图,条带卷内的各个文件被分散到各节点进行存储。4、DHT..
分类:
其他好文 时间:
2014-10-05 03:33:48
阅读次数:
513
MogileFS:是一套分布式文件存储的解决方案,它不需要特殊的核心组件、无单点失败、自动的文件复制、比RAID好多了、传输中立,无特殊协议(客户端可以通过NFS或HTTP来和MogileFS通信)、简单的命名空间、不用共享任何东西、不需要RAID、不会碰到文件系统本身的不可知情况等等优点..
分类:
其他好文 时间:
2014-10-03 01:41:24
阅读次数:
468
理论基础:Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类:
其他好文 时间:
2014-10-03 01:34:04
阅读次数:
451
HBase为可伸缩海量数据存储而设计,实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。HBase中,数据以HRegion为单位进行管理,也就是说应用程序如果想要访问一个数据,必须先找到HRegion,然后将数据读写操作提..
分类:
其他好文 时间:
2014-10-01 00:39:00
阅读次数:
249
TFS是由淘宝开发的一个分布式文件系统,详细情况请参见TFS项目主页。当前,TFS的最新版本为V2.6.6,本系列涉及讨论的TFS版本为V2.2.8(tfs-VER:V2.0.1)。TFS有三个大的稳定版本,V1.3、V2.0和V2.2。在使用时,NameServer、DataServer应该为同一...
分类:
其他好文 时间:
2014-09-30 20:39:30
阅读次数:
313
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用....
分类:
其他好文 时间:
2014-09-28 14:04:02
阅读次数:
309
通过之前的努力,已经搭建好了一套基本的tfs环境,包括一台nameserver和一台dataserver以及独立的nginx-tfs,而在实际应用中的分布式文件系统,只有一台dataserver明显是不行的,因而本文将介绍tfs环境下添加dataserver的操作和配置过程。环境介绍:Tfsnameserver服务器IP:192...
分类:
其他好文 时间:
2014-09-28 13:24:43
阅读次数:
307
前言一、最开始的网站架构二、应用、数据、文件分离三、利用缓存改善网站性能四、使用集群改善应用服务器性能五、数据库读写分离和分库分表六、使用CDN和反向代理提高网站性能七、使用分布式文件系统八、使用NoSql和搜索引擎九、将应用服务器进行业务拆分十、搭建分布式服务小结前言一个成熟的大型网站(如淘宝、天...
分类:
Web程序 时间:
2014-09-27 23:44:20
阅读次数:
350
MFS版本mfs-1.6.27MFS-MASTER192.168.1.190MFS-CHUNKSERVER1192.168.1.252MFS-CHUNKSERVER2192.168.1.188MFS-client192.168.1.52下载MFS地址:http://sourceforge.net/p...
分类:
其他好文 时间:
2014-09-23 23:59:55
阅读次数:
256
挂载基于MooseFS 分布式文件,客户端主机必须安装FUSE软件包(FUSE版本号至少2.6,推荐版本号大于2.7的fuse)[root@master ~]# rpm -qa|grep fuse fuse-2.8.3-4.el6.x86_64fuse-libs-2.8.3-4.el6.x86_64...
分类:
其他好文 时间:
2014-09-23 23:07:15
阅读次数:
403