1、什么是分库分表？ 在同一个系统（项目）中，把一张数据比较多的表放到不同的集群节点上， 这种模式称之为分库分表。 2、需求 使用mycat实现分库分表（HDFS:namenode datanode secondarynamdenode） 在整个mycat中也会使用到namenode和datanod ...
分类：
其他好文 时间：
2019-09-22 01:42:23
阅读次数：
81
如标题，最近我由于想初始化以下hadoop集群，之后却发现启动集群后所有的DataNode都消失了。 问题查找： 由于时所有的DataNode都出了问题，于是我翻找了以下DataNode的日志（默认在安装下的logs文件里）： 看出来可能是因为namenode的clusterID与datanode的 ...
分类：
其他好文 时间：
2019-09-21 23:17:49
阅读次数：
106
1.root账号先在namenode节点上配置一个定时任务，将fsimage定时传到其他客户机上进行操作 whereis hadoop命令确定安装目录，然后去配置文件找到namenode节点（data-93 emr-header-1） 0 1 * * * sh /root/fsimage.sh 每晚 ...
分类：
其他好文 时间：
2019-09-20 18:51:12
阅读次数：
96
a.含义： 客户端只能进行查看，不能进行写入、删除操作 b.作用: 检查NameNode启动后进入安全模式，检查数据块和DN的完整性 1. 副本数达到要求的block块数占所有block块总数的比例是否达到配置要求 配置项: dfs.namenode.replication.min : 副本数最小要 ...
分类：
其他好文 时间：
2019-09-19 22:02:28
阅读次数：
133
其中的fsimage 称为时点备份，又叫磁盘镜像快照，这个是NameNode的一个 持久化的方式之一：缺点，在内存数据序列化的时候比较慢 具体的过程：因为我们所知道的NameNode一般是存储在内存中的，并没有和磁盘进行交互，这和redis这类的非关系型数据库差不多，但是内存中的数据总是没有持久化的 ...
分类：
其他好文 时间：
2019-09-17 12:27:06
阅读次数：
106
最近，我在学习搭建hadoop集群，可是搭建完成后当使用start-all.sh启动hadoop的时候，会发现用jps测试的时候一切均显示正常，但通过Hadoop指令向hdfs上传输文件的时候，会报错表示datanode没有正常启动， 在网上找了一些博客讲述是可能防火墙没关，还有就是删除hadoop ...
分类：
其他好文 时间：
2019-09-16 11:55:30
阅读次数：
95
secondary namenode NameNode职责是管理元数据信息，DataNode的职责是负责数据具体存储，那么SecondaryNameNode的作用是什么？对很多初学者来说是非常迷惑的。它为什么会出现在HDFS中。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不 ...
分类：
其他好文 时间：
2019-09-14 22:47:38
阅读次数：
139
伪分布式环境： HA环境checkpoint机制 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要 ...
分类：
其他好文 时间：
2019-09-14 22:23:28
阅读次数：
122
介绍：<!--more--> HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 HDFS 设计原理 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 ...
分类：
其他好文 时间：
2019-09-14 19:38:43
阅读次数：
162
1.hadoop1.x和hadoop2.x区别 2.组件介绍 HDFS架构概述1)NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等.2)DataNode(dn): 在本地文件系统存储文件块数 ...
分类：
其他好文 时间：
2019-09-13 15:50:23
阅读次数：
112
