尝试了简单的安装hadoop2后，我们再来尝试一下hdfs的一项新功能：FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式，每个namenode属于不同的namespace。下面是我们的安装信息Hadoop
版本:2.2.0OS 版本: Ce...
分类：
其他好文 时间：
2014-05-17 10:54:41
阅读次数：
518
1：原理图 A：NN1、NN2（或者更多个NN节点）只有一个是Active状态，通过自带ZKFailoverController组件（zookeeper客户端）和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B：Active NN 的EditLog 写入共享的JournalNode集群中，Standby NN通过JournalNode集群获取Editlog，并在本地运行来保持...
分类：
其他好文 时间：
2014-05-15 14:46:42
阅读次数：
414
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
在2014年4月7日，Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0，这个版本有了一定的改进，突出的变化可以总结为下列几点（官方文档说明）：
1 支持HDFS访问控制列表（ACL，Access Control Lists）
这个特性解决了在一定情况下，文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征，如果你熟悉Linux的文件访问机...
分类：
其他好文 时间：
2014-05-13 09:03:36
阅读次数：
326
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类：
其他好文 时间：
2014-05-13 06:53:12
阅读次数：
448
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述：namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类：
其他好文 时间：
2014-05-13 02:55:12
阅读次数：
394
在看这一章之前，建议大家先去看一下snapshot的使用。可能有人会有疑问为什么要做Snapshot，hdfs不是自带了3个备份吗，这是个很大的误区，要知道hdfs的3个备份是用于防止网络传输中的失败或者别的异常情况导致数据块丢失或者不正确，它不能避免人为的删除数据导致的后果。它就想是给数据库做.....
分类：
其他好文 时间：
2014-05-10 23:14:45
阅读次数：
519
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
版本：cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式，一种是直接导入，一种是转换为HFile，然后再次导入。1. HDFS数据为（部分）：[root@node33 data]# hadoop fs -ls /inp...
分类：
其他好文 时间：
2014-05-09 00:25:48
阅读次数：
515
