1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论...
分类：
其他好文 时间：
2015-05-14 09:57:51
阅读次数：
211
分布式系统含义分布是指功能分布支持分布式处理的软件系统通俗点说分布式系统就是能把服务器端程序分开部署到多台机器上。可以分开部署的系统。软件系统运行的环境分布在多台服务器上它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。故名思义，分布式系统就是将系统的...
分类：
其他好文 时间：
2015-05-11 21:49:22
阅读次数：
146
本博文将介绍glusterfs集群的创建过程；glusterfs的复制，条带，哈希等基本卷类型及实际生产中使用率最高的哈希复制卷类型的基本原理，数据存储方式及各种类型卷的创建和使用方法。glusterfs的安装方法见：http://wangziyin.blog.51cto.com/6948950/16498381、测试环境192.168...
分类：
其他好文 时间：
2015-05-10 01:09:50
阅读次数：
505
总所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？这里只介绍系统级别的目录树。一、0.94-cdh4.2.1版本系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下/hbase/-ROOT-/hbase/.....
分类：
其他好文 时间：
2015-05-09 21:50:09
阅读次数：
175
1.Glusterfs简介GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管..
分类：
其他好文 时间：
2015-05-09 20:36:18
阅读次数：
193
1.本文目的通过解析客户端创建文件流程，认知hadoop的HDFS系统的一些功能和概念。2.主要概念2.1 NameNode（NN）：HDFS系统核心组件，负责分布式文件系统的名字空间管理、INode表的文件映射管理。如果不开启备份/故障恢复/Feneration模式，一般的HDFS系统就只有1个NameNode，当然这样是存在单点故障隐患的。NN管理两个核心的表：文件到块序列的映射、块到机器序列的...
分类：
其他好文 时间：
2015-05-08 09:30:01
阅读次数：
142
Glusterfs 是一个具有可以扩展到几个PB数量级的集群文件系统。它可以把多个不同类型的存储块通过InfinibandRDMA或者TCP/IP汇聚成一个大的并行网络文件系统。一，Volume管理 数据的传输协议支持tcp和infinibandrdma协议。1，卷的三种类型：（1）distributedvolume 分布卷可以将..
分类：
其他好文 时间：
2015-05-08 00:15:08
阅读次数：
615
基础概念rsync同步软件效率不高inotify通知三种集群：LB:loadbalance提高服务器的并发能力HA：高可用highavailability不会因为一台服务器宕机导致服务不可用HP:highperfomence高性能计算集群并行处理集群分布式文件系统将大任务切割为小任务，分别进行处理healthcheck：健康检..
分类：
其他好文 时间：
2015-05-08 00:13:48
阅读次数：
138
一. hadoop Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有....
分类：
其他好文 时间：
2015-05-06 16:57:27
阅读次数：
110
有两种类型的DFS命名空间：基于域的命名空间独立命名空间选择基于域的命名空间，需要配置在Active
Directory中，这意味着你不必依赖一台服务器上提供的命名空间信息给您的客户。通过使用基于域的命名空间，如果你更改DFS命名空间服务的服务器名称更改为服务器的名称，不会有改..
分类：
其他好文 时间：
2015-05-02 06:25:54
阅读次数：
295
