一、简介 1、分布式文件系统钢结构 分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类： 主节点（MasterNode）或者名称节点（NameNode） 从节点（Slave Node）或者数据节点（DataNode） 2、HDFS能够带来什么好处 兼容廉价的硬件设备 流数据读写 大数据集 ...
分类：
其他好文 时间：
2019-11-15 12:07:41
阅读次数：
209
一、ceph概念 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。 特点： （1）高性能： a. 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 b. ...
分类：
其他好文 时间：
2019-10-29 19:55:53
阅读次数：
117
一、简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性 ...
分类：
其他好文 时间：
2019-10-29 19:31:47
阅读次数：
97
HDFS开发 HDFS理论讲解 集群和分布式概念 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 分布式文件系统的结构 主节点 名称节点 数据节点 HDFS架构 块 HDF ...
分类：
其他好文 时间：
2019-10-29 10:00:45
阅读次数：
85
HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图： 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主 ...
分类：
其他好文 时间：
2019-10-28 10:45:47
阅读次数：
326
hadoop架构 MapReduce:分布式计算架构 HDFS：分布式文件系统 YARN：集群资源管理系统 HDFS结构： hadoop单机模式 搭建步骤： 搭建四台服务器，分别为：server、node1、node2、node3 1、关闭防火墙和selinux 2、保证server到每一个node ...
分类：
系统相关 时间：
2019-10-24 00:31:59
阅读次数：
104
[TOC] 1、glusterfs概述 1.1、glusterfs简介 glusterfs是一个可扩展，分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储。 1.2、glusterfs特点 可以扩展到几PB容量 支持处理数千个客户端 兼容POSIX接口 使用通用 ...
分类：
Web程序 时间：
2019-10-23 13:36:50
阅读次数：
236
MFS分布式文件系统 mooseFS（moose 驼鹿）是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接 ...
分类：
系统相关 时间：
2019-10-18 09:14:32
阅读次数：
122
fastdfs使用总结 说明：这篇博客是为了记录我在安装和使用FastDFS分布式文件系统时遇到的问题和解决方法，至于安装和部署的方法网上有很多在此不再赘述。我也会分享一个很好的安装教程--http://pan.baidu.com/s/1kVqPkof FastDFS介绍 FastDFS是一个开源的 ...
分类：
其他好文 时间：
2019-10-15 09:43:07
阅读次数：
116
[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second
分类：
其他好文 时间：
2019-10-14 13:04:16
阅读次数：
120
