TFS是由淘宝开发的一个分布式文件系统,详细情况请参见TFS项目主页。当前,TFS的最新版本为V2.6.6,本系列涉及讨论的TFS版本为V2.2.8(tfs-VER:V2.0.1)。TFS有三个大的稳定版本,V1.3、V2.0和V2.2。在使用时,NameServer、DataServer应该为同一...
分类:
其他好文 时间:
2014-09-30 20:39:30
阅读次数:
313
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用....
分类:
其他好文 时间:
2014-09-28 14:04:02
阅读次数:
309
通过之前的努力,已经搭建好了一套基本的tfs环境,包括一台nameserver和一台dataserver以及独立的nginx-tfs,而在实际应用中的分布式文件系统,只有一台dataserver明显是不行的,因而本文将介绍tfs环境下添加dataserver的操作和配置过程。环境介绍:Tfsnameserver服务器IP:192...
分类:
其他好文 时间:
2014-09-28 13:24:43
阅读次数:
307
前言一、最开始的网站架构二、应用、数据、文件分离三、利用缓存改善网站性能四、使用集群改善应用服务器性能五、数据库读写分离和分库分表六、使用CDN和反向代理提高网站性能七、使用分布式文件系统八、使用NoSql和搜索引擎九、将应用服务器进行业务拆分十、搭建分布式服务小结前言一个成熟的大型网站(如淘宝、天...
分类:
Web程序 时间:
2014-09-27 23:44:20
阅读次数:
350
注:以下内容来自互联网MFS文件系统概论 MFS是linux下的开源存储系统,是由波兰人开发的。MFS文件系统能够实现RAID的功能,不但能够节约存储成本,而且不逊于专业的存储系统,能够实现在线扩展。MFS是一种半分布式文件系统。MFS的架构和读写原理一个完整的MFS应用由四个部件构成:主控点服务M...
分类:
其他好文 时间:
2014-09-24 00:08:35
阅读次数:
397
[root@ky_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs[root@ky_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/nologin -u 513[root@ky_hs_252 mfs-1.6.27]# ./config...
分类:
其他好文 时间:
2014-09-24 00:07:15
阅读次数:
463
MFS版本mfs-1.6.27MFS-MASTER192.168.1.190MFS-CHUNKSERVER1192.168.1.252MFS-CHUNKSERVER2192.168.1.188MFS-client192.168.1.52下载MFS地址:http://sourceforge.net/p...
分类:
其他好文 时间:
2014-09-23 23:59:55
阅读次数:
256
挂载基于MooseFS 分布式文件,客户端主机必须安装FUSE软件包(FUSE版本号至少2.6,推荐版本号大于2.7的fuse)[root@master ~]# rpm -qa|grep fuse fuse-2.8.3-4.el6.x86_64fuse-libs-2.8.3-4.el6.x86_64...
分类:
其他好文 时间:
2014-09-23 23:07:15
阅读次数:
403
Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,使数据能容错和无缝的复制。详见:http://www.oschina.net/p/ceph ? ? 目前大部分部署ceph基本都是在Ubuntu,因为它的内核默认打开了C...
分类:
其他好文 时间:
2014-09-22 20:15:14
阅读次数:
372
一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作,如ls、mkdir、rm 等。我...
分类:
其他好文 时间:
2014-09-19 17:03:45
阅读次数:
334