实验原理： MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal旗下DangaInteractive公司开发，Danga团队开发了包括 Memcached、MogileFS、Perlbal等不错的开源项目：（注：Perlbal是一个强大的Perl写的反向代.....
分类：
其他好文 时间：
2015-09-09 08:31:08
阅读次数：
248
MogileFS简介MogileFS是一套开源的分布式存储组件，由LiveJournal旗下的DangaInteractive研发，主要应用于存储海量的小文件。MogileFS有3个组件：1）TrackerNodes：是文件系统集群的核心节点，借助数据库节点保存元数据，主要功能包括监控后端Storage节点，及指示Storage节点完..
分类：
其他好文 时间：
2015-09-08 23:41:21
阅读次数：
345
storage安装1,安装相关库文件gitclonehttps://github.com/happyfish100/libfastcommon.git
cdlibfastcommon/
shmake.sh
shmake.shinstall2，安装fastDFSgitclonehttps://github.com/happyfish100/fastdfs.git
cdfastdfs
shmake.sh
shmake.shinstall3,安装完成截图mkdir-p/usr/b..
分类：
其他好文 时间：
2015-09-02 19:16:04
阅读次数：
320
1,安装相关库文件gitclonehttps://github.com/happyfish100/libfastcommon.git
cdlibfastcommon/
shmake.sh
shmake.shinstall2,安装fastDFStrackerdgitclonehttps://github.com/happyfish100/fastdfs.git
cdfastdfs
shmake.sh
shmake.shinstall3,安装完成信息mkdir-p/usr/bin
m..
分类：
其他好文 时间：
2015-09-01 18:32:28
阅读次数：
215
本文系统centos6.5x64KVM平台以存储池的形式对存储进行统一管理，所谓存储池可以理解为本地目录、通过远端磁盘阵列（iSCSI、NFS）分配过来磁盘或目录，当然也支持各类分布式文件系统。通过virsh中pool命令能够查看、创建、激活、注册、删除存储池。注1:KVM存储池主要是体现一种..
分类：
其他好文 时间：
2015-08-31 10:17:00
阅读次数：
370
系统简介.Net图片系统就是 一个独立的图片站点，上传的的图片将被保存到站点本地文件系统或者基于fastdfs的分布式文件系统中，图片在查看时会直接请求此站点或者fastdfs的tracker服务器(需要nginx支持)。发展如今一些系统都会提供图片上传功能，但是不同的系统，保存图片的方式也不尽相同...
分类：
Web程序 时间：
2015-08-29 16:37:43
阅读次数：
208
上篇讲述了Hadoop分布式集群环境的搭建，其实重要是HDFS分布式文件系统的搭建，MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS（HadoopDistribute File System，也就是Hadoop分布式文件系统）。 一、HDFS的主要设计理念： 1、存储超大文件，这里的“超大文件”是指几百MB、GB甚至TB，PB级别的...
分类：
其他好文 时间：
2015-08-28 00:50:42
阅读次数：
163
前言在文章开始，先讲个大家都经历过的事--去图书馆借书，当然，喜欢阅读的朋友也许和我一样比较喜欢借书阅读，借书阅读方便是方便，但是唯一不好的地方在于他又期限，就是deadlline，之前在我们学校有规定，如果超期为归还的书不允许借阅另外的书籍，所以要想使自己能接到新的书，就必须先归怀超期的书籍。当然这个经历本身再寻常不过了，但是我想表达的是在HDFS分布式文件系统中的租约机制与此过程有着极强的吻合...
分类：
其他好文 时间：
2015-08-27 02:18:01
阅读次数：
542
本文以 Hadoop 提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么？分布式文件系统属于分布式存储中的一种面向文件的数据模型，它需要解决单机文件系统面临的容量扩展和容错问题。所以 HDFS 的架构设计目标就呼之欲出了：
面向超大文件或大量的文...
分类：
其他好文 时间：
2015-08-21 23:26:44
阅读次数：
204
前言在Hadoop集群中，按照集群规模来划分，规模可大可小，大的例如百度，据说有4000台规模大小的Hadoop集群，小的话，几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群，都免不了出现节点故障的情况，尤其是超大型的集群，节点故障几乎天天发生，因此如何做到正确，稳妥的故障情况处理，就显得很重要了，这里提供一个在Hadoop集群中可以想到的办法，就是Decommission...
分类：
其他好文 时间：
2015-08-20 09:12:18
阅读次数：
176
