介绍:
Master :负责各个数据存储服务器的管理,空间回收以及恢复,文件操作。
Metaloggers:负责备份master服务器的变化日志文件,在master出现问题时接替工作。
Chunkservers:提供存储空间,进行数据存储,负责连接master。
Client:客户端,可以将moosefs挂载到本地目录达到文件共享,挂载目录和本地目录使用一样。
存储方式:块存储
协议:TCP
适用环境:单集群的大量小文件
安装部署:
1:每台添加yum的key和源.
[root@157~]# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
[root@157 ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
分类:
其他好文 时间:
2019-08-06 16:59:27
阅读次数:
173
前言 在前两篇文章 spark shuffle的写操作之准备工作 中引出了spark shuffle的三种实现,spark shuffle写操作三部曲之BypassMergeSortShuffleWriter 讲述了BypassMergeSortShuffleWriter 用于shuffle写操作的 ...
分类:
其他好文 时间:
2019-08-05 00:06:42
阅读次数:
268
1、用了nginx代理后,应用上传文件时,发现小文件可上传,大文件上传不了,查nginx日志,发现有这么一句:client intended to send too large body 在nginx.conf配置文件的server加上 client_max_body_size 1024m; 重启n ...
分类:
Web程序 时间:
2019-08-02 20:31:33
阅读次数:
124
1.内置变量 变量名| 描述 | FS| 输入字段分隔符,默认是空格或制表符 OFS| 输出字段分隔符,默认是空格 RS |输入记录分隔符,默认是换行符\n ORS| 输出记录分隔符,默认是换行符\n NF |统计当前记录中字段个数 NR |统计记录编号,每处理一行记录,编号就会+1 FNR| 统计 ...
分类:
其他好文 时间:
2019-07-24 13:42:20
阅读次数:
140
nginx的安装配置详解nginx虚拟服务器curl -配置简单,灵活,轻便高并发(静态小文件),静态几万并发占资源小,2W并发,开10个线程服务,内存只消耗几百M功能种类比较多(web,cache,proxy),但是每个功能都不是特别强nginx 可以配合动态服务(FASTCGI接口)利用ngin... ...
分类:
其他好文 时间:
2019-07-21 01:30:21
阅读次数:
105
本文介绍 Linux 文件系统相关的基本概念。 硬盘的物理组成 盘片硬盘其实是由单个或多个圆形的盘片组成的,按照盘片能够容纳的数据量,分为单盘(一个硬盘里面只有一个盘片)或多盘(一个硬盘里面有多个盘片)的硬盘。下面是一张盘片的示意图(此图来自互联网): 磁道和柱面硬盘中有磁头在盘片上读写数据,磁头固 ...
分类:
系统相关 时间:
2019-07-18 09:40:44
阅读次数:
116
一般情况下windows网络共享与samba用户局域网网络共享.互联网中小型网站集群架构后端常用NFS进行数据共享.大型网站会用到更复杂的Moosefs(mfs)(小文件)GlusterFS(大文件)FastDFS(小文件).自行学习三个主服务rpc.nfsrpcbindrpc服务端1.yuminstall-ynfs-utils自动创建nfs-nobody2.开启rpcbind开启nfs加入开机启
分类:
其他好文 时间:
2019-07-17 11:05:18
阅读次数:
130
操作系统获得存储空间的方式一般有二种:通过某种协议(SAS,SCSI,SAN,iSCSI 等)挂接裸硬盘,然后分区、格式化、创建文件系统;或者直接使用裸硬盘存储数据(数据库)介绍:第一种裸硬盘的方式叫做Block Storage(块存储),每个裸硬盘通常也称作Volume(卷)。使用lvm划分出的逻 ...
分类:
其他好文 时间:
2019-07-13 17:27:21
阅读次数:
154
阿里开源的第三方模块下载地址:https://github.com/alibaba/nginx-http-concat 下载模块 编译进nginx里 配置 网页 测试 ...
分类:
其他好文 时间:
2019-07-12 12:37:33
阅读次数:
68