一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 ...
分类：
其他好文 时间：
2019-12-14 20:55:37
阅读次数：
106
准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
[toc] 集群规划 hdfs结构分析 1.NameNode 名称节点 master 管理其他节点。需要配置ssh免密管理 2.DateNode 数据节点 3.SecondaryNameNode 辅助名称节点 |主机名|ip|作用| | | | | |s101|192.168.255.101|Nam ...
分类：
其他好文 时间：
2019-12-09 21:13:14
阅读次数：
105
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo ...
分类：
其他好文 时间：
2019-12-07 20:56:20
阅读次数：
159
.loop(@n, @i: 1) when (@i =< @n) { .primary-@{i} { background: mix(@primary, #fff, 10%*@i); } .secondary-@{i} { background: mix(@secondary, #fff, 10%* ...
分类：
其他好文 时间：
2019-12-07 10:20:16
阅读次数：
115
1.配置备份根交换机 （让R1为根交换机 R2为备份根交换机） 格式：[S1]stp root primary [S2]stp root secondary 第一步：在所有的交换机把生成树模式由默认的MSTP改为RSTP CIST Bridge 交换机自己的ID CIST Root 根交换机的ID ...
分类：
其他好文 时间：
2019-12-06 11:42:33
阅读次数：
362
1 查询CPU信息： 说明 # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 如果CPU核数和逻辑数相同，说明该CPU没有超线程，反之则有，如本例中的CPU就是双线程的 查看CPU型号 cat /proc/c ...
分类：
系统相关 时间：
2019-12-06 09:25:39
阅读次数：
121
1、Hdfs的HA高可用：保证Hdfs高可用，其实就是保证namenode的高可用，保证namenode的高可用的机制有两个，editlog共享机制+ZKFC。ZKFC就是ZookeeperFailOverController，即zookeeper故障转移控制器。 2、nameNode的高可用机制： ...
分类：
其他好文 时间：
2019-12-06 09:15:11
阅读次数：
93
