最近应项目需要, 对MapReduce进行了一些实验测试, 记录如下.测试环境3台VM虚拟机, 都是Ubuntu系统, 1G内存, Hadoop 2.6.01台 NameNode (Master)3台 DataNode (Slave)其中Master和2台Slave (Slave2, Slave3)...
分类：
其他好文 时间：
2015-05-07 14:26:52
阅读次数：
129
今天群里有个有经验的大神提了一个问题(@尘事随缘)，记录下来。 A君搭建一个小型的集群，7台DataNode，一台主节点。需求是这样：通过MR程序去读取Hbase表里面的数据，程序运行后发现速度比较慢，通过查询任务详细...
分类：
其他好文 时间：
2015-05-07 12:46:39
阅读次数：
126
1、单机模式：安装简单，几乎不用做任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程，模拟分布式运行的各个节点3、完全分布式模式：正常的Hadoop集群，由多个各司...
分类：
其他好文 时间：
2015-05-05 10:23:52
阅读次数：
168
HDFS的设计概述：
NameNode的设计
维护名字空间，是HDFS中文件目录和文件分配的管理者。 保存的重要信息如下：
文件名 ————> 数据块 ，NameNode在其本地磁盘上保存为文件（持久化）
对目录树和文件名的更新——>数据块， 使用操作日志来保存更新。
数据块 ————> DataNode列表 ，NameNode不存，通过DataNode上...
分类：
其他好文 时间：
2015-05-04 15:35:51
阅读次数：
128
这篇博文主要是针对上篇博文Hadoop安装时出现的一些问题的解答问题一：ssh无密码登陆的问题在我生成密钥后，准备用ssh登录时，出现以下提示ssh:connecttohostlocalhostport22:Connectionrefused经查阅资料后发现，出现这种情况一般是三个原因造成的：1.sshd未安装2.sshd未启动3..
分类：
系统相关 时间：
2015-05-03 19:07:27
阅读次数：
243
http://khangaonkar.blogspot.com/2012/09/hadoop-2x-tutorial.html1. hdfs-site.xmlnamenode and datanode folder need to create in advance, all the content...
分类：
其他好文 时间：
2015-04-29 07:04:02
阅读次数：
150
参考刘鹏的《实战Hadoop》一书，按照hadoop0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。NameNode，SecondaryNameNode，JobTracker,TaskTracker,DataNode这几个角色。NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在..
分类：
其他好文 时间：
2015-04-26 01:33:16
阅读次数：
151
前段时间去培训，按照教程装了一遍Hadoop。回来又重新装一次，捋下思路，加深理解。基本配置如下，三个节点，一个namenode，两个datanode。Namenode192.168.59.144Datanode1192.168.59.145Datanode2192.168.59.146在虚拟机上做...
分类：
其他好文 时间：
2015-04-23 19:38:42
阅读次数：
178
HDFS Federation（HDFS联邦）HDFS有两个主要层：Namespace 由目录、文件和块组成；支持所有命名空间对文件和目录的操作。Block Storage Service 由Block Management和Storage组成。Block Management 提供dataNode...
分类：
其他好文 时间：
2015-04-23 12:33:53
阅读次数：
121
当集群启动的时候，会首先进入到安全模式。系统在安全模式下，会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5，那么在dataNode上就应该有5个副本存在，假设只存在3个副本，那么比率就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的...
分类：
其他好文 时间：
2015-04-23 12:27:02
阅读次数：
108
