岗位职责:参与构建云存储服务,包括开发、设计和运维工作?。任职要求:1、本科及以上,3年以上存储系开发、设计或运维工作经验;2、熟练操作Linux系统并对内核比较了解;对云计算、虚拟化有所了解;3、有Ceph、GlusterFS等分布式存储的实际开发和应用经验;4、至少精通JAVA、Python、R ...
分类:
其他好文 时间:
2017-01-12 22:39:01
阅读次数:
673
HDFS 核心原理 2016-01-11 杜亦舒 HDFS(Hadoop Distribute File System)是一个分布式文件系统文件系统是操作系统提供的磁盘空间管理服务,只需要我们指定把文件放到哪儿,从哪个路径读取文件句可以了,不用关心文件在磁盘上是如何存放的当文件所需空间大于本机磁盘空 ...
分类:
其他好文 时间:
2017-01-08 03:38:25
阅读次数:
182
FastDFS是由淘宝的余庆先生所开发,是一个轻量级、高性能的开源分布式文件系统,用纯C语言开发,包括文件存储、文件同步、文件访问(上传、下载)、存取负载均衡、在线扩容、相同内容只存储一份等功能,适合有大容量存储需求的应用或系统。做分布式系统开发时,其中要解决的一个问题就是图片、音视频、文件共享的问 ...
分类:
其他好文 时间:
2017-01-05 12:04:12
阅读次数:
320
之前的文章,现在放出来,以供参阅。 一、fastdfs简介 FastDFS是一个轻量级的开源分布式文件系统 FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡 FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同 ...
分类:
其他好文 时间:
2017-01-04 20:14:11
阅读次数:
269
一、mogilefs介绍二、mogilefs原理三、mogilefs架构说明四、mogile安装部署一、mogilefs介绍MogileFS是我们的开源分布式文件系统。其性能和特点包括:(1)应用程序级别-不需要特殊的内核模块。没有单点故障-MogileFS设置的所有三个组件(存储节点,跟踪器和跟踪器的数据库)可以..
分类:
其他好文 时间:
2017-01-02 00:13:13
阅读次数:
1322
随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。相关介绍网上有很多,这里就不做过多介绍了,自己尝试在自己的测试机搭建了一下。Ceph的架构Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储,所以很自然的被用做云计算..
分类:
其他好文 时间:
2016-12-30 14:28:16
阅读次数:
697
本文地址 分享提纲: 1.概述 2. 原理 3. 安装 4. 使用 5. 参考文档 1. 概述 1.1)【常见文件系统】 Google了一下,流行的开源分布式文件系统有很多,介绍如下: -- mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web ...
分类:
其他好文 时间:
2016-12-22 06:40:09
阅读次数:
251
GlusterFS3.7.18在3.7.17的基础上修复了13个bug,但也发现了不少的已知问题,该版本仍有8个已知问题待处理。(fromBLOG)从已知问题看,即便是最新的3.7.18版本,仍有一些很严重的问题需要处理,比如:fuse挂载下的inode内存泄漏,glusterfsdbrick进程可能的存在的VSZ内存泄漏,..
分类:
其他好文 时间:
2016-12-20 21:15:01
阅读次数:
181
这篇文章适合初学者读,做下实验来之后对glusterfs有一个初步的了解,我的所有操作都是在一台机器上做的。还有一些环境配置我列举了一下,并没有很详细的列出来,相信大家应该没问题。一些第三方测试工具需要大家自行在网上下载。楼主也是一个一个下载下来的.此次下载的是3.47..
分类:
其他好文 时间:
2016-12-19 22:33:05
阅读次数:
1555
报错如下-->FinishedDependencyResolutionError:Package:glusterfs-server-3.4.7-1.el6.x86_64(glusterfs)Requires:glusterfs-cli=3.4.7-1.el6Available:glusterfs-cli-3.4.7-1.el6.x86_64(glusterfs)glusterfs-cli=3.4.7-1.el6Installing:glusterfs-cli-3.7.5-19.el6.x86_6..
分类:
其他好文 时间:
2016-12-19 14:50:50
阅读次数:
494