HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
Hostname
IP
Hadoop版本
Hadoop
功能
系统
hadoop2
192.168.119.131
2.2.0
namenode
jdk1.6+hadoop
centos5.9
h2slave1
192.168.119...
分类：
其他好文 时间：
2014-08-17 14:21:32
阅读次数：
257
HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
简介
文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特别有用。ViewFs与Unix/Linux系统中client side mount tables类似。ViewFs可被用来创建个人命名空间视图，也可以每个集群一个公共的试图。
本指南描述了，在有多个集群的Hadoop系统中，每...
分类：
其他好文 时间：
2014-08-15 09:34:27
阅读次数：
286
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS联邦
本指南提供了一个HDFS联邦特性的综述，以及如何配置和管理联邦的集群。
背景
HDFS有两个主要的层次：
1. Namespace
a) 包含很多的目录，文件和block
b) 他提供所有的文件系统操作像创建，删除，修改该和list文件和目录的命名空间
2. Block Storage Service有两个部分
a)...
分类：
其他好文 时间：
2014-08-13 14:59:36
阅读次数：
245
测试环境介绍：Hadoop1.0.3升级到Hadoop2.4.1当前老环境（三副本环境）：Namenode192.168.1.10Datanode192.168.1.11（SecondNamenode）Datanode192.168.1.12Datanode192.168.1.13由于Hadoop2.4.1支持HA集群，所有需要在增加一台Namenode机器新环境规划如下：Namenode192.168.1...
分类：
其他好文 时间：
2014-08-12 17:35:54
阅读次数：
299
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
目的
本指南提供一个HDFS HA特性的综述，描述了如何使用QJM配置和管理一个HA HDFS集群。
本文档假设读者对于HDFS中的通用组件和节点类型有一个大体的认识。请参考HDFS架构指南获取更多信息。
注意：使用QJM或者传统的共享存储
本文档讨论了如何用QJM配置和使用HDFS HA在Active NameNode和Standby NameNode共享edit日志文件...
分类：
其他好文 时间：
2014-08-12 17:18:04
阅读次数：
327
格式化节点，只需一次[hadoop@masterconf]$hadoopnamenode-format
Warning:$HADOOP_HOMEisdeprecated.
14/07/3101:41:39INFOnamenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG:StartingNameNode
STARTUP_MSG:host=m..
分类：
其他好文 时间：
2014-08-12 10:29:45
阅读次数：
285
