简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ①保存多个副本，且提供容错机制，副本丢失或宕机...
分类：
其他好文 时间：
2015-01-07 00:29:30
阅读次数：
196
一、介绍
一个分布式系统本质上就是一段程序能够存储和访问远程文件就像访问本地文件类似，能够允许任何连上网络上的用户都可以访问。在后面的记录中，主要是对2大文件系统NFS和AFS做详细的介绍和分析。
1、文件系统在最初的设计时往往是按照中心结点服务的方式构建，在中心节点服务器中保持着大量的文件资源。
2、对于文件系统的分块有下面的分法：1、目录模块。2、文件模块。3、访问控制模块。4、文件访问...
分类：
其他好文 时间：
2015-01-06 18:08:29
阅读次数：
187
# (WJW)基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南 --- ## [X] 前提条件 + 服务器列表: > `192.168.1.84 hbase84` #**hbase-master** > `192.168.1.85 hbase85` #**hbase-re...
分类：
其他好文 时间：
2015-01-06 13:56:18
阅读次数：
273
环境：Centos6.0-x86_64集群使用三台服务器组成Glusterfs集群，其中两台服务器提供NFS和Rsync服务用于备份每台服务器2块网卡eth0对应内网、eth1对应外网，Glusterfs简介：GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能..
分类：
其他好文 时间：
2015-01-03 13:27:20
阅读次数：
701
前几章将有特点的公有云计算平台都介绍了一下，这里费下嘴，不是说只有这些云平台，实际上有很大，到现在Bat、360等都得云计算平台有涉及，方向、功能大体相似，我们常用的网盘算是其中之一。通过前面云计算的介绍，云计算相关的虚拟化、并行计算、主机管理等技术，我们也积累很多东西，现在就开始应用到实践中。...
分类：
其他好文 时间：
2014-12-31 22:53:16
阅读次数：
290
HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。 如果把整个hadoop当做一个java中的类的话，那么HDFS就是这个类的静态变量，其他的项目是hadoop中的方法...
分类：
其他好文 时间：
2014-12-31 22:46:33
阅读次数：
301
摘要：Hadoop使用了MapReduce编程范式，目前已经被公认为是分布式环境中分析大数据的标准框架。然而，它并不能很好的应用于大规模的计算几何处理。本文介绍的CG_Hadoop是一套可伸缩的和高效的MapReduce算法，用于处理各种基本计算几何问题，例如多边形合并、skyline（轮廓线）、convex hull(凸包)、farthest pair(最远相对)以及最近相对等，这些都是其它几何算法的基础。对于每一个计算几何操作，CG_Hadoop有两个版本，一个基于Apache Hadoop系统，一个基...
分类：
其他好文 时间：
2014-12-26 20:24:40
阅读次数：
227
(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。...
分类：
系统相关 时间：
2014-12-23 21:03:15
阅读次数：
289
HDFS简介
Hadoop说白了就是一个提供了处理分析大数据的文件集群，其中最重要的无疑是HDFS（Hadoop Distributed File System）即Hadoop分布式文件系统。
1、
HDFS是一种以流式数据访问模式（一次写入多次读取的模式）存储超大文件的系统。其不需要的高端的硬件系统，普通市面上的硬件就能满足要求。
目前不适合应用...
分类：
其他好文 时间：
2014-12-23 17:25:18
阅读次数：
184
