问题描述 发现active namenode上的fsimage是4月4日的，而standby namenode上的fsimage是4月21日。说明没有及时同步fsimage，担心后续切换可能会出问题。 定位 根据配置，fsimage至少每个小时就会同步一次，查看两个namenode的日志中相关记录： ...
分类：
其他好文 时间：
2019-05-28 17:12:31
阅读次数：
108
2019-04-23 14:16:21,769 WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught exception after scanning through 0 ops from /had ...
分类：
其他好文 时间：
2019-05-23 21:05:40
阅读次数：
150
1.HDFS简介 DataNode NameNode SecondaryNameNode HDFS文件权限 2.HDFS小结 3.HDFS交互操作 4.HDFS编程访问接口 ...
分类：
其他好文 时间：
2019-05-21 11:09:24
阅读次数：
77
——————————————————面试题———————————————————————————— 第一套 1.hadoop运行原理 包括HDFS和Mapreduce两部分。 1）HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。 它存储的逻 ...
分类：
编程语言 时间：
2019-05-14 19:04:45
阅读次数：
139
一.Hadoop2.x产生背景 1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 2.HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 3.MapReduce存在的问题 1.JobTr ...
分类：
其他好文 时间：
2019-05-14 18:57:19
阅读次数：
196
一、说明 本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。 二、原理 Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有 ...
分类：
其他好文 时间：
2019-05-06 18:46:55
阅读次数：
132
在使用 hdfs 的时候出现如下错误： 18/01/12 09:04:34 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 mi ...
分类：
其他好文 时间：
2019-05-04 10:09:35
阅读次数：
158
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？ 4、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什 ...
分类：
其他好文 时间：
2019-05-02 11:20:22
阅读次数：
136
hdfs的副本的配置修改hdfs-site.xml文件<property><name>dfs.namenode.secondary.http-address</name><value>hd-02:50090</value></property>需要同步到其它机器：scp hdfs-site.xml ...
分类：
其他好文 时间：
2019-05-01 13:33:25
阅读次数：
133
hdfs的副本的配置修改hdfs-site.xml文件<property><name>dfs.namenode.secondary.http-address</name><value>hd-02:50090</value></property>需要同步到其它机器：scp hdfs-site.xml ...
分类：
其他好文 时间：
2019-05-01 13:27:16
阅读次数：
149
