Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序，那么在实际应用中我们如何来操作使用呢？一、HDFS操作方式：1、命令行操作–FsShell：$hdfsdfs2、其他的计算框架-如spark?.
分类：
其他好文 时间：
2016-12-16 23:42:48
阅读次数：
446
fastdfs作者及软件的下载方式：https://github.com/happyfish100FastDFS基础fastdfs是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，fastfd非常适用于基于文件服务的站点，例如图片分享和视频分享网站fastfds有两..
分类：
其他好文 时间：
2016-12-16 01:57:12
阅读次数：
294
本博客是为了方便博主自己查看大致流程，不要作为学习参考。环境：centos6.6mfs--master192.168.1.220mfs--metalogger192.168.1.225mfs--chunkserver--11192.168.1.221mfs--chunkserver--22192.168.1.218mfs--client192.168.1.224部署#安装MasterServer（mfs-master）
yuminsta..
分类：
其他好文 时间：
2016-12-15 18:33:15
阅读次数：
267
一、概述 Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。Ceph有以下优势： 1. CRUSH算法 Crush算法是ceph的两大创新之一，简单来说，c ...
分类：
其他好文 时间：
2016-12-15 14:49:50
阅读次数：
279
构建企业级分布式存储 硬件要求 一般选择2U的机型，磁盘STAT盘4T，如果I/O 要求比较高，可以采购SSD固态硬盘。 为了充分保证系统的稳定性和性能，要求所有glusterfs服务器硬件配置尽量一致，尤其是硬盘数量和大小。机器的RAID卡需要带电池，缓存越大，性能越好。 一般情况下，建议做RAI ...
分类：
其他好文 时间：
2016-12-09 00:24:53
阅读次数：
171
mfs分布式文件系统MFS原理：数据分散在多个物理服务器上，呈现给用户统一的资源mfs角色1：master（master记录数据存放信息，类似于lvs，只是lvs仅仅依靠算法分发请求而master是根据内存中记录的metadata信息来分发请求的）2：metalogger（把master中记录的数据存放信息实时同步..
分类：
其他好文 时间：
2016-12-05 02:59:06
阅读次数：
341
FastDFS基本介绍：1.开源的轻量级分布式文件系统
2.C++语言研发3个角色：(1)tracker
(2)storageserver
(3)clienttrackerserver：跟踪服务器,调度:在内存中记录所有存储组和存储服务器的状态信息,不会保留任何元数据storageserver：存储服务器,文件(data)和文件属性(metadata),..
分类：
其他好文 时间：
2016-12-03 16:12:58
阅读次数：
171
FastDFS的安装配置环境介绍：centos6.81.下载源码包(github站点)fastdfs-master.zip#依赖libfastcommon-master
libfastcommon-master.zip2.编译安装(a)首先安装libfastcommon-master#unziplibfastcommon-master.zip
#cdlibfastcommon-master/
#catINSTALL
#./make.sh-->确保..
分类：
其他好文 时间：
2016-12-03 16:11:21
阅读次数：
215
HDFS是Hadoop的分布式文件系统，但是分布式文件系统不只是HDFS，如Google的GFS，Spark的Tachyon，他们都是分布式文件系统。在这里谈到分布式文件系统，我们一定要和传统的文件系统进行区分。传统的文件系统如Windows的NTFS，FAT32和FAT16，Linux的ext3，ext4，它们都是基于裸设..
分类：
其他好文 时间：
2016-12-03 02:44:43
阅读次数：
202
MogileFS分布式存储： 不能mount,基于API进行存储分布式文件系统：(把存储空间抽象成文件格式的存储) 可以mount,基于VFS接口访问常见的分布式文件系统 GFS:适合存储少量大文件 HDFS:适合存储少量大文件 TFS：淘宝FS,在名称节点上将元数据存储于关系型数据中,文件数量不在受限于..
分类：
其他好文 时间：
2016-12-01 23:05:54
阅读次数：
217
