CEPH分布式文件系统CEPH是一种为优秀的性能,可靠性和可扩展性而设计的统一的,分布式文件系统。CEPH可以轻松的扩展到数PB容量,支持多种工作负载的高性能,高可靠性。CEPH四个部分:Clients客户端:用来访问文件系统CMDS元数据服务器:用来缓存和同步数据COSD对象存储群集:用..
分类:
其他好文 时间:
2017-07-10 16:54:20
阅读次数:
330
MFS分布式文件系统MFS分布式文件系统是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。MFS分布式操作系统搭建过程:v搭建master服务器#iptables-F#setenforce0#yum-yinstallzlib-devel#useraddmfs-s/sbin/nologi..
分类:
其他好文 时间:
2017-07-10 16:34:18
阅读次数:
144
HDFS分布式文件系统HDFS系统借助于一款hadoop工具进行部署,文件系统的主要优势是主要是提高客户端的读取效率,假如一块1TB的磁盘数据需要读取,读取速度为100MB/S,如果将1块磁盘中的数据分别存储到100块磁盘上,那么当用户读取时,它们并行运行,那么用户读取操作就可以瞬间..
分类:
其他好文 时间:
2017-07-10 16:29:13
阅读次数:
300
hadoop分布式搭建 一、首先是搞好master 1、创建用户组 groupadd hadoop 添加一个组 useradd hadoop -g hadoop 添加用户 2、jdk的安装 这里安装的版本是jdk-7u9-linux-i586.tar.gz ,使用 tar -zsvf jdk-7u9 ...
分类:
其他好文 时间:
2017-07-10 14:26:52
阅读次数:
231
15套java架构师、集群、高可用、高可扩 展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布 式项目实战视频教程 视频课程包含: 高级Java架构师包含:Spring boot、Spring cloud、Dubbo ...
分类:
数据库 时间:
2017-07-08 17:53:53
阅读次数:
571
分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。1、三个部分: 客户端、nameserver(可理解为主控和文件索引,类似Linux的inode)、datanode(存放实... ...
分类:
其他好文 时间:
2017-07-08 14:10:11
阅读次数:
155
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容, ...
分类:
数据库 时间:
2017-07-07 23:39:12
阅读次数:
399
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容, ...
分类:
数据库 时间:
2017-07-07 23:32:44
阅读次数:
966
本文并不说明怎样编写一个xlator。在glusterfs3.6.1下验证成功 目标在glusterfs-3.6.1/xlators/debug/下建立一个自己的xlator库并能够统一安装到系统文件夹下 一、 解压glusterfs3.6.1.tar.gz tar zxvf glusterfs3. ...
分类:
其他好文 时间:
2017-07-07 10:15:39
阅读次数:
184
Alluxio是一种基于内存的分布式文件系统,支持不同的缓存替换策略,来替换内存中的文件快。Alluxio中的文件时以文件块形式组织,其中文件通过自己实现的inode数据结构记录文件属性并索引。 下面首先介绍几种不同的缓存策略,这些缓存策略被广泛的应用在web,数据库,文件系统中。 1 基于访问频率 ...
分类:
其他好文 时间:
2017-07-06 21:26:06
阅读次数:
274