小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中，每一个object占用150 bytes的内存空间。所以，如果有10million个文件，每一个文件对应一个.....
分类：
其他好文 时间：
2015-04-04 11:53:57
阅读次数：
281
制造namenode宕机的情况? 1) kill 掉namenode的进程 [hadoop@hadoop?bin]$?kill?-9?13481 2)删除dfs.name.dir所指向的文件夹，这里是/home/hadoop/hdfs/name. current??image??in_use.lock??previous....
分类：
其他好文 时间：
2015-04-02 06:56:49
阅读次数：
163
1）NameNode、DataNode和Client
NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode是文件存储的基本单元，它将Block存储在...
分类：
其他好文 时间：
2015-03-31 14:50:15
阅读次数：
184
参考链接：Hadoop 2.0 NameNode HA和Federation实践Posted on2012/12/10一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久...
分类：
其他好文 时间：
2015-03-31 00:41:38
阅读次数：
244
对namenode启动时的相关操作及相关类有一个大体了解，后续深入研究时，再对本文进行补充>实现类HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh，查看start-dfs.sh可以看出，namenode是通过bin/hdfs命令来启动$ vi start-dfs.sh....
分类：
其他好文 时间：
2015-03-31 00:38:19
阅读次数：
238
Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣...
分类：
其他好文 时间：
2015-03-30 18:08:59
阅读次数：
145
1.Namenode岩机处理:重启集群无法恢复的情况下
这时候解决的办法很简单，把namenode镜像存储的路径下内容删除掉，再把secondnamenode镜像存储的路径下内容拷贝过来，重启即可。
默认namenode镜像存储的路径是 /opt/hdfs/dfs/name
默认secondnamenode镜像存储的路径 /opt/hdfs/dfs/nameseconda...
分类：
其他好文 时间：
2015-03-30 11:25:07
阅读次数：
129
系统：ubuntu 14.04
HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后，用JPS检查能看到一下六个进程：14779 DataNode
15322 NodeManager
14657 NameNode
15194 ResourceManager
17656 Jps
14979 SecondaryNameNode接下来我们需要运行Word...
分类：
编程语言 时间：
2015-03-29 13:42:54
阅读次数：
217
一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS2.01、解决HDFS1.0中单点故障和内存受限问题。2、解决单点故障HDFSHA通过主备NameNode解决如果主NameNode发生故..
分类：
其他好文 时间：
2015-03-21 21:29:17
阅读次数：
356
1.概述 最近有朋友问我Secondary NameNode的作用，是不是NameNode的备份？是不是为了防止NameNode的单点问题？确实，刚接触Hadoop，从字面上看，很容易会把Secondary NameNode当作备份节点；其实，这是一个误区，我们不能从字面来理解，阅读官方文档，我们....
分类：
其他好文 时间：
2015-03-16 17:43:59
阅读次数：
106
