一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：rootHadoop：Hadoop2.6，Hadoop2.6的单机安装请见：http://www.cnblogs.com/zouzhongfan/p/4309405.ht...
分类：
数据库 时间：
2015-03-02 19:02:08
阅读次数：
248
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：rootHadoop：Hadoop2.6，Hadoop2.6的单机安装请见：http://www.cnblogs.com/zouzhongfan/p/4309405.ht...
分类：
其他好文 时间：
2015-03-02 18:37:17
阅读次数：
123
二、 namenode故障恢复(importCheckpoint)*注意事项：(1) 为了便于将随便一台datanode临时用作namenode，datanode和namenode配置需要一模一样包括conf目录下的所有文件、目录结构、环境变量(2) 新namenode的主机名要与原namenode...
分类：
其他好文 时间：
2015-03-01 23:35:14
阅读次数：
170
DataNode无法启动：问题原因：执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么...
分类：
其他好文 时间：
2015-02-28 22:51:43
阅读次数：
151
本文内容还是转载自--吴超沉思录里的，还是挺佩服吴超老师的O(∩_∩)O~以下介绍NameNode和DataNode所扮演的角色：（1）NameNodeNameNode的作用是管理文件目录结构，是管理数据节点的。NameNode维护两套数据：一套是文件目录与数据块之间的关系，另一套是数据块与节点间的...
分类：
其他好文 时间：
2015-02-28 12:41:48
阅读次数：
157
由于之前远程桌面不好使，集群出现了missing block的时候没法登陆远程桌面查看是那些节点由于重启导致DataNode进程挂掉。同时简单的用命令hdfs dfsadmin -report查看又不方便，信息量太多，以下是一个用sed和awk实现的简单的脚本：...
分类：
其他好文 时间：
2015-02-26 11:43:39
阅读次数：
187
【简介】1、hdfs架构hdfs伪分布式架构只需要有三个部分即可，NameNode是老大，DataNode是小弟，SecondaryNameNode是助理。客户端Client跟NameNode通信（RPC通信机制，后面会介绍），SecondaryNameNode负责数据的同步。2、元数据的存储细节NameNode的元数据是存放在内存当中的。..
分类：
其他好文 时间：
2015-02-25 23:52:18
阅读次数：
146
首先，今天是羊年初一。祝看到这篇博文的朋友们新春快乐！身体健康！心想事成！万事胜意！ 言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程，同时MR有JobTrack...
分类：
其他好文 时间：
2015-02-19 17:28:09
阅读次数：
256
参考资料：http://os.51cto.com/art/201211/364374.htm上边这是个结构概览吧。默认情况下，一个file被分成很多个block，每个block被分配到两个rack（机架）的共3个DataNode上，也就是有两个备份。在NameNode保存了每个block对应的Dat...
分类：
其他好文 时间：
2015-02-17 14:03:20
阅读次数：
219
执行stop-dfs.sh脚本，出现以下提示：1 Stopping namenodes on [Master]2 Master: no namenode to stop3 SlaveA: no datanode to stop4 SlaveB: no datanode to stop5 SlaveC...
分类：
其他好文 时间：
2015-02-12 15:55:38
阅读次数：
181
