Hadoop是适合大数据的分布式存储与计算平台 HDFS的架构：主从式结构 主节点只有一个NameNode，从节点可以有很多个DataNode。 NameNode负责： (1)接收用户操作请求 (2)维护文件系统的目录结构 (3)管理文件与block之间关系，block与DataNode之间联系 D...
分类：
其他好文 时间：
2015-03-04 16:19:21
阅读次数：
140
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da...
分类：
其他好文 时间：
2015-03-04 09:47:45
阅读次数：
142
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：root二，安装JDK安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。下载地址：http://www.oracle.com/technetwork/java...
分类：
其他好文 时间：
2015-03-02 19:04:48
阅读次数：
200
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：rootHadoop：Hadoop2.6，Hadoop2.6的单机安装请见：http://www.cnblogs.com/zouzhongfan/p/4309405.ht...
分类：
数据库 时间：
2015-03-02 19:02:08
阅读次数：
248
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：rootHadoop：Hadoop2.6，Hadoop2.6的单机安装请见：http://www.cnblogs.com/zouzhongfan/p/4309405.ht...
分类：
其他好文 时间：
2015-03-02 18:37:17
阅读次数：
123
二、 namenode故障恢复(importCheckpoint)*注意事项：(1) 为了便于将随便一台datanode临时用作namenode，datanode和namenode配置需要一模一样包括conf目录下的所有文件、目录结构、环境变量(2) 新namenode的主机名要与原namenode...
分类：
其他好文 时间：
2015-03-01 23:35:14
阅读次数：
170
DataNode无法启动：问题原因：执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么...
分类：
其他好文 时间：
2015-02-28 22:51:43
阅读次数：
151
本文内容还是转载自--吴超沉思录里的，还是挺佩服吴超老师的O(∩_∩)O~以下介绍NameNode和DataNode所扮演的角色：（1）NameNodeNameNode的作用是管理文件目录结构，是管理数据节点的。NameNode维护两套数据：一套是文件目录与数据块之间的关系，另一套是数据块与节点间的...
分类：
其他好文 时间：
2015-02-28 12:41:48
阅读次数：
157
由于之前远程桌面不好使，集群出现了missing block的时候没法登陆远程桌面查看是那些节点由于重启导致DataNode进程挂掉。同时简单的用命令hdfs dfsadmin -report查看又不方便，信息量太多，以下是一个用sed和awk实现的简单的脚本：...
分类：
其他好文 时间：
2015-02-26 11:43:39
阅读次数：
187
【简介】1、hdfs架构hdfs伪分布式架构只需要有三个部分即可，NameNode是老大，DataNode是小弟，SecondaryNameNode是助理。客户端Client跟NameNode通信（RPC通信机制，后面会介绍），SecondaryNameNode负责数据的同步。2、元数据的存储细节NameNode的元数据是存放在内存当中的。..
分类：
其他好文 时间：
2015-02-25 23:52:18
阅读次数：
146
