文本详细介绍了HDFS中的许多概念，对于理解Hadoop分布式文件系统很有帮助。1. 介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于...
分类：
其他好文 时间：
2016-07-16 16:30:22
阅读次数：
607
环境介绍：系统版本:Rhel6.5内核版本：3.18.3-1.el6.elrepo.x86_64Yum源：http://download.gluster.org/pub/gluster/glusterfs/3.6/3.6.9/RHEL/glusterfs-epel.repo节点数量：3个，主机名分别为controller1、controller2、compute01每个节点上有3个磁盘，都分别挂载到/data/bri..
分类：
其他好文 时间：
2016-07-14 22:16:53
阅读次数：
402
创建3个卷p_w_picpaths、volumes、instances分别对接openstack的glance、cinder、nova组件p_w_picpaths卷用于存放OpenStack镜像volumes卷用于存放OpenStack硬盘instances卷用于存放OpenStack云主机1、创建卷glustervolumecreatep_w_picpathsreplica3controller1:/data/brick1..
分类：
其他好文 时间：
2016-07-14 22:16:10
阅读次数：
370
一,前言再学习kvm过程中，老大要求我把数据磁盘和系统盘分开存储。因此，老大建议用glusterfs来做data的存储。找了很多资料才搞完，看下面的操作吧。二，安装部署。通过很多资料发现，有linux系统是直接找到glusterfs的源代码的网站下载repo的文件后yum安装。开始的时候，我也..
分类：
其他好文 时间：
2016-07-14 19:46:42
阅读次数：
1317
1.概述 最近收到一些同学和朋友的邮件，说能不能整理一下 Hadoop 生态圈的相关内容，然后分享一些，我觉得这是一个不错的提议，于是，花了一些业余时间整理了 Hadoop 的生态系统，并将其进行了归纳总结，进而将其以表格的形式进行了罗列。涉及的内容有以下几点： 分布式文件系统 分布式编程模型 No ...
分类：
其他好文 时间：
2016-07-13 19:36:56
阅读次数：
155
第六章的代码及命令的部分本人还未验证，先记录，验证后如有变动再更新。
一、是什么
1.是一个易于扩展的分布式文件系统
2.可以运行在大量普通廉价机器上，提供容错机制
3.可以为大量用户提供性能不错的文件存取服务
二、优点
高容错性：数据自动保存多个副本，副本丢失后，自动恢复
适合批处理：移动计算而非数据，数据位置暴露给计算框架
适合大数据处理：GB、TB、甚至PB级数据；百万规模...
分类：
其他好文 时间：
2016-07-12 12:19:23
阅读次数：
218
官方网站：http://www.gluster.org/下载地址：http://download.gluster.org/pub/gluster/glusterfs/GlusterFS外部架构GlusterFS总体架构与组成部分如图2所示，它主要由存储服务器（BrickServer）、客户端以及NFS/Samba存储网关组成。不难发现，GlusterFS架构中没有元数据服务器..
分类：
其他好文 时间：
2016-07-12 00:11:49
阅读次数：
565
MooseFS安装及双机热备MooseFS--分布式文件系统，它由4个部分组成：master、metalogge、chunkserver、client。Master是mfs的大脑，记录着管理信息，比如：文件大小，存储的位置，份数等，这些信息被记录到metadata.mfs中，当该文件被载入内核后，该文件会重命名为metadata.mfs...
分类：
其他好文 时间：
2016-07-11 19:39:16
阅读次数：
380
ClusterIp：通过VIP来访问,NodePort:需要自己搭建负载据衡器LoadBalancer：仅仅用于特定的云提供商和GoogleContainerEngine https://www.nginx.com/blog/load-balancing-kubernetes-services-nginx-plus/port：相当于服务端口（对及集群内客户访问）targetPort:相当于pods端口n..
分类：
Web程序 时间：
2016-07-11 19:21:23
阅读次数：
8848
看这篇文章请出去跑两圈，然后泡一壶茶，边喝茶，边看，看完你就对hadoop整体有所了解了。Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括Zo ...
分类：
其他好文 时间：
2016-07-11 17:08:29
阅读次数：
150
