HDFS的设计概述：
NameNode的设计
维护名字空间，是HDFS中文件目录和文件分配的管理者。 保存的重要信息如下：
文件名 ————> 数据块 ，NameNode在其本地磁盘上保存为文件（持久化）
对目录树和文件名的更新——>数据块， 使用操作日志来保存更新。
数据块 ————> DataNode列表 ，NameNode不存，通过DataNode上...
分类：
其他好文 时间：
2015-05-04 15:35:51
阅读次数：
128
这篇博文主要是针对上篇博文Hadoop安装时出现的一些问题的解答问题一：ssh无密码登陆的问题在我生成密钥后，准备用ssh登录时，出现以下提示ssh:connecttohostlocalhostport22:Connectionrefused经查阅资料后发现，出现这种情况一般是三个原因造成的：1.sshd未安装2.sshd未启动3..
分类：
系统相关 时间：
2015-05-03 19:07:27
阅读次数：
243
http://khangaonkar.blogspot.com/2012/09/hadoop-2x-tutorial.html1. hdfs-site.xmlnamenode and datanode folder need to create in advance, all the content...
分类：
其他好文 时间：
2015-04-29 07:04:02
阅读次数：
150
参考刘鹏的《实战Hadoop》一书，按照hadoop0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。NameNode，SecondaryNameNode，JobTracker,TaskTracker,DataNode这几个角色。NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在..
分类：
其他好文 时间：
2015-04-26 01:33:16
阅读次数：
151
前段时间去培训，按照教程装了一遍Hadoop。回来又重新装一次，捋下思路，加深理解。基本配置如下，三个节点，一个namenode，两个datanode。Namenode192.168.59.144Datanode1192.168.59.145Datanode2192.168.59.146在虚拟机上做...
分类：
其他好文 时间：
2015-04-23 19:38:42
阅读次数：
178
HDFS Federation（HDFS联邦）HDFS有两个主要层：Namespace 由目录、文件和块组成；支持所有命名空间对文件和目录的操作。Block Storage Service 由Block Management和Storage组成。Block Management 提供dataNode...
分类：
其他好文 时间：
2015-04-23 12:33:53
阅读次数：
121
当集群启动的时候，会首先进入到安全模式。系统在安全模式下，会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5，那么在dataNode上就应该有5个副本存在，假设只存在3个副本，那么比率就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的...
分类：
其他好文 时间：
2015-04-23 12:27:02
阅读次数：
108
在运行Hadoop的过程中遇到的最多的问题就是DataNode不能正常的启动，各种问题都有可能，说一下我遇到的两种情况：（1）第一种情况是Master的防火墙没有关闭。这样在启动Hadoop的时候，Master这个节点可以正常的启动，但是Master的防火墙开启以后，使得Slave不能访问Maste...
分类：
其他好文 时间：
2015-04-22 15:12:55
阅读次数：
175
1、hdfs namenode -format 后datanode无法启动解决办法：删除所有datanode节点下data.tmp.dir下目录2、running job 后卡住解决办法：如果是集群的话，集群时间要同步；cp /usr/share/zoneinfo/Asia/Shanghai /et...
分类：
其他好文 时间：
2015-04-21 12:43:30
阅读次数：
126
1.hadoop的分布式安装过程1.1 分布结构主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker1.2 各节点重新产生ssh加密文件1.3 编辑各个节...
分类：
其他好文 时间：
2015-04-20 00:26:26
阅读次数：
156
