hdfs-site.xml配置
配置命名空间，这里只配置了1个为freedom
dfs.ha.namenodes.freedom
nn1,nn2
切换命令：
使用bin/hdfs haadmin --transitionToActive nn2即可切换active nn到nn2。这时nn1如果还存活则变成不可写状态，需要重启，重启后...
分类：
其他好文 时间：
2015-02-25 11:42:41
阅读次数：
126
Combine small files to sequence file or avro files are a good method to feed hadoop.Small files in hadoop will take more namenode memory resource.Sequ...
分类：
其他好文 时间：
2015-02-22 12:16:15
阅读次数：
150
HDFS概念1 数据块*HDFS的一个数据块默认是64M，与元数据分开管理。优点： 数据块的大小设计的较大，所以寻址占传输的时间比例较小，只需要计算传输速度即可。 便于简化管理，利于计算剩余空间、冗余备份（默认三个） 与元数据分开管理，保持他本身无属性的特性。2 nameNode,Dat...
分类：
其他好文 时间：
2015-02-20 14:06:39
阅读次数：
154
首先，今天是羊年初一。祝看到这篇博文的朋友们新春快乐！身体健康！心想事成！万事胜意！ 言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程，同时MR有JobTrack...
分类：
其他好文 时间：
2015-02-19 17:28:09
阅读次数：
256
找到?hadoop-config.sh（2.6.0的是在libexec文件夹下）找到最后一行if["$HADOOP_CLASSPATH"!=""];then#Prefixitifitstobeprecededif["$HADOOP_USER_CLASSPATH_FIRST"!=""];thenCLA...
分类：
其他好文 时间：
2015-02-17 19:54:48
阅读次数：
479
参考资料：http://os.51cto.com/art/201211/364374.htm上边这是个结构概览吧。默认情况下，一个file被分成很多个block，每个block被分配到两个rack（机架）的共3个DataNode上，也就是有两个备份。在NameNode保存了每个block对应的Dat...
分类：
其他好文 时间：
2015-02-17 14:03:20
阅读次数：
219
执行stop-dfs.sh脚本，出现以下提示：1 Stopping namenodes on [Master]2 Master: no namenode to stop3 SlaveA: no datanode to stop4 SlaveB: no datanode to stop5 SlaveC...
分类：
其他好文 时间：
2015-02-12 15:55:38
阅读次数：
181
在一个全配置的集群上，运行Hadoop意味着在网络分布的不同服务器上运行一组守护进程 （daemons)，这些守护进程或运行在单个服务器上，或运行与多个服务器上，他们包括:(1) NameNode（名字节点）(2) DataNode（数据节点）(3) Secondary NameNode （次名节点...
分类：
其他好文 时间：
2015-02-11 00:21:39
阅读次数：
191
假设已经配置好集群。在开发客户机Linux centos 6.5上进行：a.客户机centos 有一个和集群同名的访问用户:huser.b.vim /etc/hosts 加入namenode,加入本机IP.-------------------------1.安装hadoop集群 同版本的 jdk,...
分类：
系统相关 时间：
2015-02-06 16:22:35
阅读次数：
208
最近遇到个问题，每次重启Hadoop发现HDFS控制台都无法访问，并且查看nameNode的JOBTracker日志，如下
2015-02-05 09:36:18,935 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.Connec...
分类：
其他好文 时间：
2015-02-05 14:59:25
阅读次数：
124
