1：namenode+secondaryNameNode工作机制 2：datanode工作机制 3：HDFS中的通信（代理对象RPC） 下面用代码来实现基本的原理 1：服务端代码 2：代理对象接口 3：代理对象的实现 4：客服端 ...
分类：
其他好文 时间：
2019-04-29 22:31:44
阅读次数：
203
Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。 小文件带来的问题 关于这个 ...
分类：
其他好文 时间：
2019-04-21 20:02:52
阅读次数：
280
HDFS高可用环境HA的架构 HDFS组件由一个对外提供服务的namenode（存储元数据）和N个datanode组成；Zookeeper有三个作用：1.为了统一配置文件 config 2.多个节点的进程要修改公共变量的话，zookeeper会加一个锁 3.仲裁 （必须是奇数个节点，自己组成一个集群 ...
分类：
其他好文 时间：
2019-04-07 20:27:28
阅读次数：
129
我查看了网上的原因，把core.site.xml里的以下配置复制到了hdfs.site.xml里，三台机器都要复制，复制完以后在重新启动hadoop集群，嗯~~~启动了一个nn，还有一个nn没有起来，然后如果你也另一个namenode没有起来请看我另一篇文章吧！！！https://www.cnblo ...
分类：
其他好文 时间：
2019-04-07 14:34:25
阅读次数：
392
背景：昨晚11点40几分，终于各个集群组件都启动成功了，然后心满意足的去睡觉了，但是今早再起来再去启动的时候就出现了namenode的问题，然后就开始了查找原因的艰辛历程。 查看报错的log日志： 2019-04-07 13:22:57,746 WARN org.apache.hadoop.hdfs ...
分类：
移动开发 时间：
2019-04-07 14:22:50
阅读次数：
248
1、hadoop 工作原理： a.首先 概括里面的角色（HDFS 、Mapreduce） b.讲解各个角色的整体架构 HDFS： 概念： 分布式文件系统，用于海量数据存储。 架构： master/slave 架构 ：1个Namenode和多个Ddatanode。 工作原理： Namenode：(项目 ...
分类：
其他好文 时间：
2019-04-05 21:32:15
阅读次数：
205
#（1）安装nodeexporternodeexporter作用：是收集操作系统的基本系统,例如cpu，内存,硬盘空间等基本信息,并对外提供api接口用于prometheus查询存储;1）docker方式运行nodeexporterdockerrun-d--namenode-exporter-p9100:9100-v"/proc:/host/proc:ro"-v"/sys:/host/sys:ro
分类：
其他好文 时间：
2019-04-04 23:03:51
阅读次数：
647
1.Sql导入数据方式：（1）软件选择导入，分隔符类型，直接导入 （2）写入代码导入 2、Hadoop下载安装：官网下载安装 3、HDFS HDFS的可靠性：创建了多份数据备份，放置在了其他计算机节点中，读取速度也很快。 结构：NameNode（元数据 内存）和DataNodes（文件内容 磁盘） ...
分类：
其他好文 时间：
2019-04-02 14:19:00
阅读次数：
327
用来测试，我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上，如果有条件建议大家把NameNode单独放在一台机器上，因为NameNode是集群的核心承载压力是很大的。hadoop版本：Hadoop-2.7.4； had ...
分类：
其他好文 时间：
2019-03-31 13:35:26
阅读次数：
201
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
