GlusterFS简介GlusterFS概述GlusterFS(GlusterFileSystem)是一个开源的分布式文件系统，主要由ZRESEARCH公司负责开发。GlusterFS是Scale-Out存储解决方案Gluster的核心，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚
分类：
其他好文 时间：
2019-04-30 09:23:36
阅读次数：
175
分布式文件系统(HDFS）与linux系统文件系统关系 HDFS基于操作系统的文件系统； 假设有一个1G的大文件，在linux文件系统上就是一个文件，由1G/512b的block组成；在HDFS上需要1024MB/64MB=16块，即16个linux文件组成，所以相当于一个普通1G的文件分成了16个 ...
分类：
其他好文 时间：
2019-04-28 12:31:33
阅读次数：
117
最近公司需要搭建一台FastDfs分布式文件系统，查询和参考了网络很多资料，但是从头到尾按他们的配置，中间都会或多或少的出错，可能是版本的问题，也可能是其他问题，经过自己不断的研究，终于成功配置完成，而且已经应用线上。现在把经验分享出来供大家参考，也作为自己的一个记录，以便今后用到能回顾一下。1、下载软件网上先下载需要安装的软件2、前期准备所需的工具下载完毕后，开始搭建准备，首先下载所需全部工具运
分类：
其他好文 时间：
2019-04-24 23:27:59
阅读次数：
176
EOS使用IPFS分布式文件系统作为底层存储。IPFS是一种内容可寻址、点对点、通过http协议传输的分布式文件系统。IPFS采用content-addressable寻址技术，即通过文件内容进行检索而不是通过文件的网络地址。简单来说，就是对文件内容进行hash运算，将hash值作为文件名保存在本地数据库中，所以，只要文件内容不变，则文件名也保持不变。运行IPFS的节点，既是客户端又是服务器。客户
分类：
其他好文 时间：
2019-04-20 09:25:13
阅读次数：
142
课程大纲（HDFS详解） Hadoop HDFS 分布式文件系统DFS简介 HDFS的系统组成介绍 HDFS的组成部分详解 副本存放策略及路由规则 命令行接口 Java接口 客户端与HDFS的数据流讲解 学习目标： 掌握hdfs的shell操作 掌握hdfs的java api操作 理解hdfs的工作 ...
分类：
其他好文 时间：
2019-04-11 16:05:57
阅读次数：
124
使用Webupload插件上传图片到FastDFS分布式文件系统。 前提条件：1.已安装FastDFS分布式文件系统 2.使用webuploader插件上传文件 3.maven工程已引入FastDFS依赖 图片上传及图片回显部分代码如下： ...
分类：
Web程序 时间：
2019-04-11 01:37:48
阅读次数：
236
文件系统分类Linux:ext2(CentOS5);ext3,ext4(CentOS6);xfs,btrfs(CentOS7)Linux虚拟文件系统:VFS(virtualfilesystem)Windows:fat32,NTFS网络文件系统：NFS,CIFS集群文件系统:GFS2,DCFS2分布式文件系统：ceph,moosefs,mogilefs根据其是否支持‘Journal‘
分类：
系统相关 时间：
2019-04-10 16:34:43
阅读次数：
188
linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
1、hadoop 工作原理： a.首先 概括里面的角色（HDFS 、Mapreduce） b.讲解各个角色的整体架构 HDFS： 概念： 分布式文件系统，用于海量数据存储。 架构： master/slave 架构 ：1个Namenode和多个Ddatanode。 工作原理： Namenode：(项目 ...
分类：
其他好文 时间：
2019-04-05 21:32:15
阅读次数：
205
1、简介：FastDFS是用C语言编写的一款开源的分布式文件系统，FastDSF充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等特点，使用FastDFS可以很容易的搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 2、原理：FastDFS系统结构如下图所示： FastDF ...
分类：
其他好文 时间：
2019-04-05 00:23:41
阅读次数：
175
