HDFS数据管理1、设置元数据与数据的存储路径，通过
dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、
hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等属性来设置；2、经常执行HDFS文件系统检查工...
分类：
其他好文 时间：
2015-06-16 23:03:33
阅读次数：
329
继续对NameNode实现的接口做分析。
publicDatanodeCommand blockReport(DatanodeRegistration nodeReg,
long[]blocks) throws IOException
DataNode向NameNode报告它拥有的所有数据块，其中，参数blocks...
分类：
其他好文 时间：
2015-06-16 16:51:01
阅读次数：
91
Hadoop2对HDFS的改进很大，支持HDFS(NameNode)和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署。一、部署前..
分类：
其他好文 时间：
2015-06-12 22:28:03
阅读次数：
267
Secondary NameNode的成员变量很少，主要的有：privateCheckpointStorage checkpointImage;Secondary NameNode使用的StorageprivateNamenodeProtocol namenode;和NameNode通信的接口pri...
分类：
其他好文 时间：
2015-06-12 19:07:47
阅读次数：
97
Secondary NameNode的成员变量很少，主要的有： privateCheckpointStorage
checkpointImage;
Secondary NameNode使用的Storage
privateNamenodeProtocol
namenode;
和NameNode通信的接口
privateHttpServer
infoServer;
传输...
分类：
其他好文 时间：
2015-06-12 17:27:00
阅读次数：
130
[user6@das0 hadoop-0.20.203.0]$ bin/hadoop namenode -format12/02/20 14:05:17 INFO namenode.NameNode: STARTUP_MSG:Re-format filesystem in /data0/hadoop...
分类：
其他好文 时间：
2015-06-11 06:56:31
阅读次数：
95
先启动所有的zookeeperzkServer.sh start在所有节点上启动JournalNode：sbin/hadoop-daemon.sh start journalnode格式化第一个NameNodebin/hdfs namenode –format启动第一个的NameNodesbin/h...
分类：
其他好文 时间：
2015-06-10 21:00:37
阅读次数：
149
什么是RPC?1、RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。
2、Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。RPC协议假定某些传输协议的存在，如...
分类：
其他好文 时间：
2015-06-08 21:37:20
阅读次数：
169
小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中， 每一个object占用150 bytes的内存空间。所以，如果有10million个文件， 每一个文件对应一个block，那么就将要消耗namenode 3G的内存来保存这些block的信息。如果规模再大一些，那...
分类：
其他好文 时间：
2015-06-07 23:38:49
阅读次数：
239
又回来看HDFS 1.2.1 版本了，首先要执行hadoop namenode -format --- 执行脚本./hadoop namenode -format 后，脚本最后执行的核心部分是： exec?"$JAVA"?-Dproc_$COMMAND?$JAVA_HEAP_MAX?$HADOOP_OPTS?-clas...
分类：
其他好文 时间：
2015-06-05 12:31:15
阅读次数：
102
