##FastDFSGithub地址:https://github.com/happyfish100/fastdfs#FastDFS简介:http://www.oschina.net/p/fastdfs/#分布式文件系统及FastDFS:https://chulung.com/article/22#分布式架构高可用架构篇:http://www.cnblogs.com/hujihon/p/5709556.html#实验拓扑图(逻辑图)#软件下..
分类:
其他好文 时间:
2017-04-17 15:08:42
阅读次数:
232
前言 因为本科毕业设计中要做一个分布式文件系统,其中一个模块需要实现文件IO。为了验证我对异步IO的理解,决定造一个异步文件IO的轮子。操作系统已经给出各种异步操作的API,如重叠IO, IOCP,kqueue,select,poll,epoll等机制,而且C++也有很多跨平台的异步IO库,如lib ...
分类:
编程语言 时间:
2017-04-16 19:30:20
阅读次数:
331
FastDFS分布式文件系统配置与部署 白宁超 2017年4月14日 注:1.1-1.4节是对FastDFS基本配置,如果读者只是安装分布式文件系统,简单关注其原理建议阅读1.2节与1.5节。如果读者仅仅就是安装为目的建议直接阅读1.5节。 本人邮箱:datathinks@qq.com 主页网址:h... ...
分类:
其他好文 时间:
2017-04-15 09:24:34
阅读次数:
360
从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph,包括这款文件系统的安装、基本使用场景、常用管理命令和重要工作原理。特别是讨论了PaxOS算法的基本理后,就更容易理解Ceph分布式文件系统中各...
分类:
其他好文 时间:
2017-04-14 17:21:58
阅读次数:
538
HDFS是什么 HDFS设计特性和概念 HDFS,全称是Hadoop Distributed Filesystem,是一个分布式的文件系统,以流式数据訪问模式来存储超大文件(一次写入、多次读取)。 HDFS具有例如以下设计特性: (1)处理超大文件,指的是GB、TB、PB级别的文件。百度、淘宝都有P ...
分类:
其他好文 时间:
2017-04-13 10:52:29
阅读次数:
251
从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph,包括这款文件系统的安装、基本使用场景、常用管理命令和重要工作原理。特别是讨论了PaxOS算法的基本理后,就更容易理解Ceph分布式文件系统中各...
分类:
其他好文 时间:
2017-04-05 15:01:14
阅读次数:
263
Hadoop分布式文件系统设计要点与架构Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS..
分类:
其他好文 时间:
2017-04-04 17:56:28
阅读次数:
274
FastDFS集群的安装、配置、使用FastDFS介绍(参考:http://www.oschina.net/p/fastdfs)FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在..
分类:
其他好文 时间:
2017-04-01 22:04:28
阅读次数:
327
1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS(分布式文件系统)B.YARN(运算资源调度系统)C.MAPREDUCE(分布式运算编程框架..
分类:
其他好文 时间:
2017-03-27 12:05:23
阅读次数:
405
转自:https://www.ustack.com/blog/sikao/ Ceph从2004年提交了第一行代码,至今为止已经10年了。这个起源于Sage博士论文,最早致力于开发下一代高性能分布式文件系统的项目,现在也成为了开源社区众人皆知的明星项目。特别是随着云计算的发展,Ceph乘上了OpenS ...
分类:
其他好文 时间:
2017-03-24 12:17:41
阅读次数:
288