使用DOM方法解析XML数据，比如这个xml:admin在程序中读取Document doc=........;Element root=doc.getDocumentElement();Element nameNode=(Element)root.getElementsByTagName_r(na...
分类：
其他好文 时间：
2015-03-06 10:31:08
阅读次数：
133
以上是该命令的选项
[root@com22 bin]# sh hdfs fsck /flume/events/2015/03/02/13 -racks
Connecting to namenode via http://com22.authentication:50070
FSCK started by root (auth:SIMPLE) from /192.168.11.177 fo...
分类：
其他好文 时间：
2015-03-05 17:10:00
阅读次数：
120
Hadoop是适合大数据的分布式存储与计算平台 HDFS的架构：主从式结构 主节点只有一个NameNode，从节点可以有很多个DataNode。 NameNode负责： (1)接收用户操作请求 (2)维护文件系统的目录结构 (3)管理文件与block之间关系，block与DataNode之间联系 D...
分类：
其他好文 时间：
2015-03-04 16:19:21
阅读次数：
140
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da...
分类：
其他好文 时间：
2015-03-04 09:47:45
阅读次数：
142
二、 namenode故障恢复(importCheckpoint)*注意事项：(1) 为了便于将随便一台datanode临时用作namenode，datanode和namenode配置需要一模一样包括conf目录下的所有文件、目录结构、环境变量(2) 新namenode的主机名要与原namenode...
分类：
其他好文 时间：
2015-03-01 23:35:14
阅读次数：
170
（一）备份namenode的元数据
namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。
1、将元数据复制到远程站点
（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器
#!/bin/bash
export dirname=/mnt/tmphadoo...
分类：
其他好文 时间：
2015-03-01 22:23:11
阅读次数：
358
DataNode无法启动：问题原因：执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么...
分类：
其他好文 时间：
2015-02-28 22:51:43
阅读次数：
151
仅需要jdk，下载解压即可，最好修改下elasticsearch.ymlcluster.namenode.namees有非常丰富的插件，建议安装下面两个bigdesk资源监控和集群管理插件bin/plugin -install lukas-vlcek/bigdeskhttp://127.0.0.1:...
分类：
其他好文 时间：
2015-02-28 16:15:27
阅读次数：
162
本文内容还是转载自--吴超沉思录里的，还是挺佩服吴超老师的O(∩_∩)O~以下介绍NameNode和DataNode所扮演的角色：（1）NameNodeNameNode的作用是管理文件目录结构，是管理数据节点的。NameNode维护两套数据：一套是文件目录与数据块之间的关系，另一套是数据块与节点间的...
分类：
其他好文 时间：
2015-02-28 12:41:48
阅读次数：
157
【简介】1、hdfs架构hdfs伪分布式架构只需要有三个部分即可，NameNode是老大，DataNode是小弟，SecondaryNameNode是助理。客户端Client跟NameNode通信（RPC通信机制，后面会介绍），SecondaryNameNode负责数据的同步。2、元数据的存储细节NameNode的元数据是存放在内存当中的。..
分类：
其他好文 时间：
2015-02-25 23:52:18
阅读次数：
146
