码迷,mamicode.com
首页 >  
搜索关键字:小文件    ( 1027个结果
MooseFs 安装
介绍: Master :负责各个数据存储服务器的管理,空间回收以及恢复,文件操作。 Metaloggers:负责备份master服务器的变化日志文件,在master出现问题时接替工作。 Chunkservers:提供存储空间,进行数据存储,负责连接master。 Client:客户端,可以将moosefs挂载到本地目录达到文件共享,挂载目录和本地目录使用一样。 存储方式:块存储 协议:TCP 适用环境:单集群的大量小文件 安装部署: 1:每台添加yum的key和源. [root@157~]# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS [root@157 ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
分类:其他好文   时间:2019-08-06 16:59:27    阅读次数:173
spark shuffle写操作三部曲之UnsafeShuffleWriter
前言 在前两篇文章 spark shuffle的写操作之准备工作 中引出了spark shuffle的三种实现,spark shuffle写操作三部曲之BypassMergeSortShuffleWriter 讲述了BypassMergeSortShuffleWriter 用于shuffle写操作的 ...
分类:其他好文   时间:2019-08-05 00:06:42    阅读次数:268
nginx由于权限导致大文件不能上传的问题
1、用了nginx代理后,应用上传文件时,发现小文件可上传,大文件上传不了,查nginx日志,发现有这么一句:client intended to send too large body 在nginx.conf配置文件的server加上 client_max_body_size 1024m; 重启n ...
分类:Web程序   时间:2019-08-02 20:31:33    阅读次数:124
面试题--乱2
来源网上。侵删 ...
分类:其他好文   时间:2019-07-25 23:01:42    阅读次数:140
AWK之随心所欲-高手篇
1.内置变量 变量名| 描述 | FS| 输入字段分隔符,默认是空格或制表符 OFS| 输出字段分隔符,默认是空格 RS |输入记录分隔符,默认是换行符\n ORS| 输出记录分隔符,默认是换行符\n NF |统计当前记录中字段个数 NR |统计记录编号,每处理一行记录,编号就会+1 FNR| 统计 ...
分类:其他好文   时间:2019-07-24 13:42:20    阅读次数:140
nginx的安装配置详解
nginx的安装配置详解nginx虚拟服务器curl -配置简单,灵活,轻便高并发(静态小文件),静态几万并发占资源小,2W并发,开10个线程服务,内存只消耗几百M功能种类比较多(web,cache,proxy),但是每个功能都不是特别强nginx 可以配合动态服务(FASTCGI接口)利用ngin... ...
分类:其他好文   时间:2019-07-21 01:30:21    阅读次数:105
Linux 文件系统相关的基本概念
本文介绍 Linux 文件系统相关的基本概念。 硬盘的物理组成 盘片硬盘其实是由单个或多个圆形的盘片组成的,按照盘片能够容纳的数据量,分为单盘(一个硬盘里面只有一个盘片)或多盘(一个硬盘里面有多个盘片)的硬盘。下面是一张盘片的示意图(此图来自互联网): 磁道和柱面硬盘中有磁头在盘片上读写数据,磁头固 ...
分类:系统相关   时间:2019-07-18 09:40:44    阅读次数:116
NFS配置文件,记住就可以了
一般情况下windows网络共享与samba用户局域网网络共享.互联网中小型网站集群架构后端常用NFS进行数据共享.大型网站会用到更复杂的Moosefs(mfs)(小文件)GlusterFS(大文件)FastDFS(小文件).自行学习三个主服务rpc.nfsrpcbindrpc服务端1.yuminstall-ynfs-utils自动创建nfs-nobody2.开启rpcbind开启nfs加入开机启
分类:其他好文   时间:2019-07-17 11:05:18    阅读次数:130
08.存储Cinder→1.理解Block Storage
操作系统获得存储空间的方式一般有二种:通过某种协议(SAS,SCSI,SAN,iSCSI 等)挂接裸硬盘,然后分区、格式化、创建文件系统;或者直接使用裸硬盘存储数据(数据库)介绍:第一种裸硬盘的方式叫做Block Storage(块存储),每个裸硬盘通常也称作Volume(卷)。使用lvm划分出的逻 ...
分类:其他好文   时间:2019-07-13 17:27:21    阅读次数:154
nginx 的提升多个小文件访问的性能模块
阿里开源的第三方模块下载地址:https://github.com/alibaba/nginx-http-concat 下载模块 编译进nginx里 配置 网页 测试 ...
分类:其他好文   时间:2019-07-12 12:37:33    阅读次数:68
1027条   上一页 1 ... 16 17 18 19 20 ... 103 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!