一、说明 本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。 二、原理 Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有 ...
分类：
其他好文 时间：
2019-05-06 18:46:55
阅读次数：
132
在使用 hdfs 的时候出现如下错误： 18/01/12 09:04:34 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 mi ...
分类：
其他好文 时间：
2019-05-04 10:09:35
阅读次数：
158
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？ 4、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什 ...
分类：
其他好文 时间：
2019-05-02 11:20:22
阅读次数：
136
hdfs的副本的配置修改hdfs-site.xml文件<property><name>dfs.namenode.secondary.http-address</name><value>hd-02:50090</value></property>需要同步到其它机器：scp hdfs-site.xml ...
分类：
其他好文 时间：
2019-05-01 13:33:25
阅读次数：
133
hdfs的副本的配置修改hdfs-site.xml文件<property><name>dfs.namenode.secondary.http-address</name><value>hd-02:50090</value></property>需要同步到其它机器：scp hdfs-site.xml ...
分类：
其他好文 时间：
2019-05-01 13:27:16
阅读次数：
149
这是一篇记录向，记录我后台的学习过程。 如有不正确的地方，请多多指教。 基础知识： MVC即 Model View Controller Model（模型）表示应用程序核心（比如数据库记录列表）。 View（视图）显示数据（数据库记录）。 Controller（控制器）处理输入（写入数据库记录）。 ...
分类：
Web程序 时间：
2019-04-30 23:42:19
阅读次数：
212
1：namenode+secondaryNameNode工作机制 2：datanode工作机制 3：HDFS中的通信（代理对象RPC） 下面用代码来实现基本的原理 1：服务端代码 2：代理对象接口 3：代理对象的实现 4：客服端 ...
分类：
其他好文 时间：
2019-04-29 22:31:44
阅读次数：
203
复制集 一、复制集概述： 组成： Mongodb复制集（副本集replica set）由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点，Mongodb Driver（客户端）的所有数据都写入Primary，Secondary通过oplog来同步Primary ...
分类：
数据库 时间：
2019-04-26 13:16:19
阅读次数：
207
Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。 小文件带来的问题 关于这个 ...
分类：
其他好文 时间：
2019-04-21 20:02:52
阅读次数：
280
