记录一下对CAP的理解，CAP理论是分布式系统的基本理论，已得到证明，分布式系统最多只能满足其中的两个。 CAP基本概念 CAP是三个特性关键字的简写。 （1）C：Consistency，一致性 （2）A：Availability，可用性 （3）P：Partition tolerance，分区容忍性 ...
分类：
其他好文 时间：
2020-03-17 19:52:18
阅读次数：
97
Clustered and Secondary Indexes（聚集索引和二级索引） Every InnoDB table has a special index called the clustered index where the data for the rows is stored. Ty ...
分类：
数据库 时间：
2020-03-16 14:29:24
阅读次数：
84
一：DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度、 快数据的校验和（验证数据完整性）以及时间戳 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有 ...
分类：
其他好文 时间：
2020-03-15 22:22:33
阅读次数：
80
visual studio code 配置vue开发环境 插件 vue-cli visual-studio-code 前端 更新于 2018-05-09 约 8 分钟 废话 重装了用了3年的操作系统，配置前端开发环境时一些开发工具配置丢失了，这里做下记录，我精简了一遍插件，确保都用得上，且功能不重叠 ...
分类：
其他好文 时间：
2020-03-13 22:19:03
阅读次数：
73
1.1.1 安全模式 安全模式是文件系统只读不写的过程，一般在载入旧镜像，执行编辑日志，生成新镜像和空编辑日志文件的过程中。datanode存储数据块列表，namenode存储块的位置信息。datanode定期向namenode发送最新的块列表信息。如果某个块复本数量少于最小复本级别（dfs.nam ...
分类：
其他好文 时间：
2020-03-11 11:08:29
阅读次数：
65
1.1.1 永久性数据结构 namenode的目录结构如下图 （1） VERSION属性文件 namespaceid文件系统命名空间唯一标识。 clusterID是将HDFS集群作为一个整体赋予的唯一标识符。 blockpoolID是数据块池的唯一标识。 CTime是namenode存储系统创建时间 ...
分类：
其他好文 时间：
2020-03-11 10:58:32
阅读次数：
49
发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。为了方便比较，本文内容主要基于CDH5.16.1和CDH6.1.1进行说明。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于CDH6，而CDH5会慢慢的停止更新，所以考
分类：
其他好文 时间：
2020-03-10 12:04:30
阅读次数：
53
hadoop主备高可用故障转移机制 NameNode和2nn zookeeper保姆机制 zookeeper全新选举机制 zookeeper之非全新选举 NameNode和2nn hbase之存数据流程 hbase之创建表流程 hbase之查询路由(解决元数据信息不断增大 hbase之rowkey设 ...
分类：
其他好文 时间：
2020-03-04 22:29:35
阅读次数：
152
HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh ...
分类：
其他好文 时间：
2020-03-04 09:41:47
阅读次数：
74
联邦Hadoop 是NameNode的水平拓展方案。该方案允许HDFS创建多个NameSpece(两个为一对)以提高集群的拓展性和隔离性，联邦HDFS允许每个NameNode管理文件系统命名空间的一部分。每个NameNode维护一个命名空间，不同NameNode之间的命名空间相互独立。数据块池不再切 ...
分类：
其他好文 时间：
2020-03-04 09:18:04
阅读次数：
73
