一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archiv..
分类：
其他好文 时间：
2016-05-17 19:46:54
阅读次数：
283
HDFS是一种分布式文件系统，它采用的是master/slave架构对海量文件进行管理。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的，NameNode是一个中心服务器，它负责管理集群中的执行调度，而DataNode则是具体任务的执行节点。HDFS以block为基本单位来处理文件，每个DataNode上都存储一个block，block默认大小为64MB，开发者也可以根据需...
分类：
其他好文 时间：
2016-05-12 18:17:22
阅读次数：
120
Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间..
分类：
其他好文 时间：
2016-05-11 23:58:38
阅读次数：
421
1、什么是mapreduce mapreduce是hadoop自带的分布式计算框架。 2、mapreduce的基本思想 2.1、能够解决什么问题假设一个场景：一个电商系统，统计某个手机号的用户的上行和下行流量。 如果通过一个节点的计算机，对各个datanode上的文件进行扫描，将结果统计到一个has ...
分类：
其他好文 时间：
2016-05-11 16:30:49
阅读次数：
271
运行Hadoop 进入Hadoop的安装目录的bin目录下，采用-format命令格式化文件系统。$Hadoop NameNode -format 注意：在执行格式化-format命令时，要避免NameNode的namespace ID与DataNode的namespace ID的不一致。这是因为每... ...
分类：
其他好文 时间：
2016-05-11 11:22:39
阅读次数：
217
Hadoop的组成Hadoop的两部分分别是： 分布式存储HDFS 分布式计算MapReduce HDFS是一个master/slave的结构，就一般的部署来说，在master上只运行一个NameNode，而在每一个slave上运行一个DataNode。 MapReduce是一个变成模型，用以进行大... ...
分类：
其他好文 时间：
2016-05-11 10:53:45
阅读次数：
127
从日志上看，加粗的部分说明了问题： datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法： 根据日志中的路径，cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹， 将name/current下的VERSION中的clus ...
分类：
其他好文 时间：
2016-05-08 16:40:11
阅读次数：
182
1、HDFS中NameNode的启动过程： 步骤1：namenode启动时，首先将fsimage（镜像）载入内存，并执行editlog日志的各项操作 步骤2：内存中建立起元数据映射，则创建一个新的fsimage和空的editlog 步骤3：等待datanode注册与发送数据块信息 2、HDFS中Na ...
分类：
其他好文 时间：
2016-05-08 10:16:48
阅读次数：
185
HDFS中的数据完整性HDFSZ在写入数据的时候会计算数据的校验和，针对每个由dfs.bytes.per.checksum指定字节的数据计算校验和，默认为512个字节
当客户端读取数据的时候，会对数据的校验和进行检查，如果发现数据出现损坏，则会执行以下步骤：
1.向Namenode报告其正在读取的数据块和所在的Datanode，之后会抛出ChecksumException异常
2.Nam...
分类：
其他好文 时间：
2016-05-06 15:51:22
阅读次数：
189
JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和NameNode 是针对数据存放来而言的 JobTracker和TaskTracker是对于MapReduce执行而言的 mapreduce中几个主要概念，mapreduce整体上可 ...
分类：
其他好文 时间：
2016-05-04 17:14:47
阅读次数：
122
