1、概念：
fsimage保存了最新的元数据检查点。
edits保存自最新检查点后的命名空间的变化。
2、工作原理：
从最新检查点后，hadoop将对每个文件的操作都保存在edits中，为避免edits不断增大，secondary namenode就会周期性合并fsimage和edits成新的fsimage，edits再记录新的变化。
这种机制有个问题：因edits存放在Name...
分类：
其他好文 时间：
2014-10-15 23:23:11
阅读次数：
392
HDFS概述
HDFS不适合低延迟，小文件多，采用流式访问，一个时间点只有一个写入。HDFS采用主从结构，一个NameNode，多个DataNode。Namenode是文件系统元数据的数据存储库，它保存了文件信息，以及两个映射关系（文件与数据块的映射，块与DataNode数据节点的映射关系）。文件名到数据块的映射关系由于只被NameNode独知，因此它不仅需要在NameNode内存存储，...
分类：
其他好文 时间：
2014-10-15 18:07:01
阅读次数：
727
用HDFS存储小文件是不经济的，因为每个文件都存在一个block里，每个block的metadata又在namenode的内存里存着，所以，大量的小文件，会吃掉大量的namenode的内存。（注意：一个小文件占用一个block，但是这个block的大小不是设定的值，比如设定每个block是128M，但是一个1M的文件存在一个block里，实际占用的datanode的硬盘大小是1M，而不是128M。...
分类：
其他好文 时间：
2014-10-09 16:58:40
阅读次数：
247
1、单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点 安装与配置步骤： 下载并解压Hadoo...
分类：
其他好文 时间：
2014-10-09 02:49:17
阅读次数：
246
理论基础：Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类：
其他好文 时间：
2014-10-03 01:34:04
阅读次数：
451
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。...
分类：
其他好文 时间：
2014-09-24 17:22:37
阅读次数：
210
在启动Hadoop时，NameNode节点上会默认启动一个SecondaryNameNode进程，使用JSP命令可以查看到。SecondaryNameNode光从字面上理解，很容易让人认为是NameNode的热备进程。其实不是，SecondaryNameNode是HDFS架构中的一个组成部分。它并不...
分类：
其他好文 时间：
2014-09-23 00:54:43
阅读次数：
273
一、配置1. 在masters文件中添加 Secondary节点的主机名。*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，namenode由core-site.xml fs.default.name指定，j...
分类：
其他好文 时间：
2014-09-22 20:10:03
阅读次数：
197
shell操作命令：hdfs的路径，在core-site.xml中定义fs.default.namehdfs://master.hadoop:9000 master.hadoop namenode主机名用/ 代替当前绝对路径hadoop fs -ls / 查看hdfs的根目录下的内容hadoop ....
分类：
其他好文 时间：
2014-09-22 18:45:42
阅读次数：
161
