1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
hadoop所有的配置文件都是在 etc/hadoop下 (1)配置集群 第一步:在hadoop下修改core-site.xml文件 vim etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS中Name Node的地址--> <property> ...
分类：
其他好文 时间：
2019-12-11 13:06:14
阅读次数：
104
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
[toc] 集群规划 hdfs结构分析 1.NameNode 名称节点 master 管理其他节点。需要配置ssh免密管理 2.DateNode 数据节点 3.SecondaryNameNode 辅助名称节点 |主机名|ip|作用| | | | | |s101|192.168.255.101|Nam ...
分类：
其他好文 时间：
2019-12-09 21:13:14
阅读次数：
105
1 <!--?xml version="1.0" encoding="UTF-8"?--> hbase hbck -repair 强制修复 如果ok就可以 2 不ok，找到hdfs上对应的该表位置，删除，之后在使用hbase hbck -repair 解决过程： 第一次，使用了方法二，然后解决了问题 ...
分类：
其他好文 时间：
2019-12-08 01:26:29
阅读次数：
128
1 详细异常 2 解决方案 权限问题 sudo -hdfs /mnt/software/hbase-1.2.0-cdh5.16.1/bin/start-hbase.sh 指定特定权限用户 启动集群 ...
分类：
数据库 时间：
2019-12-08 01:10:34
阅读次数：
278
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo ...
分类：
其他好文 时间：
2019-12-07 20:56:20
阅读次数：
159
1、Hdfs的HA高可用：保证Hdfs高可用，其实就是保证namenode的高可用，保证namenode的高可用的机制有两个，editlog共享机制+ZKFC。ZKFC就是ZookeeperFailOverController，即zookeeper故障转移控制器。 2、nameNode的高可用机制： ...
分类：
其他好文 时间：
2019-12-06 09:15:11
阅读次数：
93
我们知道，一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述：A typical schema has between 1 and 3 column families per table. HBase tables should not be ...
分类：
其他好文 时间：
2019-12-05 13:27:11
阅读次数：
113
1、概述 hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？分布式文件系统未出现的时候，一个文件只能存储在个服务器上，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗 hdfs的 ...
分类：
其他好文 时间：
2019-12-05 01:35:40
阅读次数：
140
