HDFS开发 HDFS理论讲解 集群和分布式概念 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 分布式文件系统的结构 主节点 名称节点 数据节点 HDFS架构 块 HDF ...
分类：
其他好文 时间：
2019-10-29 10:00:45
阅读次数：
85
HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图： 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主 ...
分类：
其他好文 时间：
2019-10-28 10:45:47
阅读次数：
326
hadoop架构 MapReduce:分布式计算架构 HDFS：分布式文件系统 YARN：集群资源管理系统 HDFS结构： hadoop单机模式 搭建步骤： 搭建四台服务器，分别为：server、node1、node2、node3 1、关闭防火墙和selinux 2、保证server到每一个node ...
分类：
系统相关 时间：
2019-10-24 00:31:59
阅读次数：
104
[TOC] 1、glusterfs概述 1.1、glusterfs简介 glusterfs是一个可扩展，分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储。 1.2、glusterfs特点 可以扩展到几PB容量 支持处理数千个客户端 兼容POSIX接口 使用通用 ...
分类：
Web程序 时间：
2019-10-23 13:36:50
阅读次数：
236
CentOS 7 安装 GlusterFS CentOS 7 GlusterFS 环境说明：3台机器安装 GlusterFS 组成一个集群。使用 docker volume plugin GlusterFS 服务器：10.6.0.14010.6.0.19210.6.0.196配置 hosts 10. ...
分类：
其他好文 时间：
2019-10-22 20:25:13
阅读次数：
84
MFS分布式文件系统 mooseFS（moose 驼鹿）是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接 ...
分类：
系统相关 时间：
2019-10-18 09:14:32
阅读次数：
122
fastdfs使用总结 说明：这篇博客是为了记录我在安装和使用FastDFS分布式文件系统时遇到的问题和解决方法，至于安装和部署的方法网上有很多在此不再赘述。我也会分享一个很好的安装教程--http://pan.baidu.com/s/1kVqPkof FastDFS介绍 FastDFS是一个开源的 ...
分类：
其他好文 时间：
2019-10-15 09:43:07
阅读次数：
116
[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second
分类：
其他好文 时间：
2019-10-14 13:04:16
阅读次数：
120
京东云文件服务（Cloud File Service,以下简称：CFS）是一种高可靠、可扩展、可共享访问的全托管分布式文件系统。它可在不中断应用服务的情况下，根据您对文件系统的使用，按需扩展或缩减，并按照实际用量计费。采用NFS协议，支持POSIX文件接口，可为Linux系统下的云主机提供共享访问服 ...
分类：
Web程序 时间：
2019-10-14 13:02:27
阅读次数：
116
