注:以下内容来自互联网MFS文件系统概论 MFS是linux下的开源存储系统,是由波兰人开发的。MFS文件系统能够实现RAID的功能,不但能够节约存储成本,而且不逊于专业的存储系统,能够实现在线扩展。MFS是一种半分布式文件系统。MFS的架构和读写原理一个完整的MFS应用由四个部件构成:主控点服务M...
分类:
其他好文 时间:
2014-09-24 00:08:35
阅读次数:
397
[root@ky_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs[root@ky_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/nologin -u 513[root@ky_hs_252 mfs-1.6.27]# ./config...
分类:
其他好文 时间:
2014-09-24 00:07:15
阅读次数:
463
Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,使数据能容错和无缝的复制。详见:http://www.oschina.net/p/ceph ? ? 目前大部分部署ceph基本都是在Ubuntu,因为它的内核默认打开了C...
分类:
其他好文 时间:
2014-09-22 20:15:14
阅读次数:
372
一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作,如ls、mkdir、rm 等。我...
分类:
其他好文 时间:
2014-09-19 17:03:45
阅读次数:
334
淘宝技术这10年,里面涉及的技术确实颇有传奇色彩。突然觉得,没有时间看书,而且需要补充技术营养的技术宅来说,勤奋的渣渣我来提供福利了,萃取一些精华分享给大家吧...
分类:
其他好文 时间:
2014-09-18 23:51:24
阅读次数:
363
HDFS作为Hadoop中 的一个分布式文件系统,而且是专门为它的MapReduce设计,所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外,还必须为 MapReduce提供高效的读写性能,那么HDFS是如何做到这些的呢?首先,HDFS将每一个文件的数据进行分块存储,同时每一个数据块又保存有...
分类:
其他好文 时间:
2014-09-18 13:09:33
阅读次数:
309
Mfs块服务器增加Mfs块服务器增加测试结果:1.从以下的测试情况可以看出mfs增加块服务器时,mfsmaster会重新去调整块文件的磁盘空间,全新动态的分配块文件的分布情况;2.在磁盘加入时,变成四个块服务器时文件的写入会有3个备份,隔了一阵子,会调整成正常的2个备份;(此种情况..
分类:
其他好文 时间:
2014-09-17 15:34:53
阅读次数:
215
Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:ip节点192.168.3.10hdfs-master192.168.3.11hdfs-slave1192.168.3.12hdfs-slave21.在所有机器添加hosts192.168.3.10hdfs-master192.168.3.11hdfs-slave1192.168.3.12hdfs-slave2#说明//主机名不能带有下划线及一些特殊符号,..
分类:
其他好文 时间:
2014-09-13 03:03:35
阅读次数:
335
一个分布式系统基础架构,由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量(high throughput)来访问应用程...
分类:
其他好文 时间:
2014-09-12 13:33:03
阅读次数:
284
MooseFS文件系统介绍MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色:1、管理服务器managingserver(master)负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复多节点拷贝2、元数据日志服务器Metaloggerserver(Metalogger)负责备份master服..
分类:
其他好文 时间:
2014-09-11 19:37:03
阅读次数:
920