本例使用的环境：Windows+VirtualBox. VirtualBox下安装三个ubuntu系统（可以安装一台后，使用VirtualBox自带的工具VBoxManage.exe来进行复制），三台机器分别命名为h1.h2,h3。其中，h1作为master，运行namenode和jobtracker，h2和h3作为slaves，运行datanode和tasktracker。
1.在每个...
分类：
其他好文 时间：
2014-12-16 11:50:12
阅读次数：
202
原因：在原来的电脑上配置伪分布的时候，已经将hostname与IP绑定了，所以拷贝到别的电脑的时候，重新启动的时候就会失败，因为新的电脑的IP不见得就和原来的电脑的IP一样！因为在不同的网络中，在NAT模式下Linux的IP肯定是位于不同的网段的！！ 解决方法：vi /etc/hosts 将原来的电...
分类：
其他好文 时间：
2014-12-16 00:47:25
阅读次数：
299
再理解HDFS的存储机制
1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；
2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；
3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNode共同工作；
4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及...
分类：
其他好文 时间：
2014-12-15 10:34:06
阅读次数：
149
可通过部署一对主/备NameNode实现NameNode高可用性（HA），主/备NN都能访问edits的WAL，因此将edtis放置在共享存储设备上，使用NFS实现这种共享存储。主/备NN可配置为手动或自动故障切换模式，默认为手动故障切换模式。通常来说，次NN会同时承担备NN的角色，由于NN在内存中的元数据大小限制，可以使用NN联盟，由一组各自独立的NN组成，每个NN负责管理目录结构的不同部分，N...
分类：
其他好文 时间：
2014-12-15 09:01:54
阅读次数：
144
组网说明：hadoop1.localdomain192.168.11.81（namenode）hadoop2.localdomain192.168.11.82（namenode）hadoop3.localdomain192.168.11.83(datanode)hadoop4.localdomain192.168.11.84(datanode)hadoop5.localdomain192.168.11.85(datanode)第一步：卸载openjdkrpm-qa|grepjav..
分类：
其他好文 时间：
2014-12-14 07:15:13
阅读次数：
244
1）NameNode、DataNode和Client NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文.....
分类：
其他好文 时间：
2014-12-13 16:28:52
阅读次数：
148
1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中，假如有一个文件A要做为输入数据，给MapReduce处理，系统要做的，首先从NameNode中找到文件A存储在哪些DataNode中，然后，在这些DataNode中，找到相应的数据块，作为一个单独的数据分块，作为ma...
分类：
其他好文 时间：
2014-12-11 15:22:37
阅读次数：
185
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍
计算：
以一个最简单Hadoop集群来计算，需要两个头节点（Namenode）和两个数据节点（Datanode）以及3个Zookeeper结点，这样算下来每小时要5.44+2.72*2+0*3=10.88RMB，每天需要10.88*24=261.12RMB，每个月需要261.12*30=7833.6RMB，这是最低配置！...
在测试环境准备测试FastCopy，因为之前只有一个NS，准备增加一个NS也便于测试，一切都准备妥当之后，重启DN，但是DN死活连接不上新的NN，报以下错误：...
分类：
其他好文 时间：
2014-12-09 23:09:47
阅读次数：
262
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架）
HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。
从节点，有很多个datanodes，负责存储文件，文件被分成block存储...
分类：
其他好文 时间：
2014-12-08 09:23:22
阅读次数：
231
