dfs目录位置由core-site.xml文件中 hadoop.tmp.dir 属性决定 ：hadoop.tmp.dir属性对应值/dfs 1.dfs目录是在NameNode被格式化的时候产生的 格式化：首先在停止hadoop之后，删除 hadoop.tmp.dir 属性对应值目录下的所有文件后，执 ...
分类：
其他好文 时间：
2020-06-22 12:36:38
阅读次数：
145
接上篇postgresql + pgpool 构建容灾高可用集群(数据同步流复制/主备自动切换) 本篇主要内容： pgpool-ii 安装 pgpool-ii 配置 pgpool-ii 验证 概述: 在postgresql12 安装完成之后, 我们需要安装pool-ii中间件, 来完成 HA 自动切 ...
分类：
其他好文 时间：
2020-06-22 12:32:25
阅读次数：
120
NameNode 存储文件元数据（文件名，目录结构，文件属性，文件块列表，块所在DataNode） DataNode 文件块数据+数据校验和 Secondary NameNode 监控HDFS状态的后台程序 ...
分类：
其他好文 时间：
2020-06-21 23:27:51
阅读次数：
48
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
1 hadoop 在虚拟机上的安装与配置 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 演示的下载包 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 下载解压 环境c ...
分类：
其他好文 时间：
2020-06-20 00:48:56
阅读次数：
63
1、HDFS（Hadoop Distributed File System）是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。它的核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息 ...
分类：
其他好文 时间：
2020-06-18 14:33:17
阅读次数：
67
1，在hdfs-site.xml 中配置多目录，提前配置好，以免以后要配置时，需要重启集群。 2，namenode 有一个工作线程池，用来处理不同的datanode的并发心跳和客户端访问并发请求。配置dfs.namenode.handler.count=20 * log2(Cluster Size) ...
分类：
其他好文 时间：
2020-06-16 13:33:15
阅读次数：
64
就是个回滚莫队和带权可删减并查集板子 LCT?雾 这板子还没整理过，就顺手写下吧.... 可删除并查集 其实实质和原本并查集差不多就加了一个虚点的概念 为什么要增加虚点呢? 这就是删除操作的本质 （这里用ha[i]=cnt 代表i节点对应的虚点为cnt） 删除，首先把所有与这个点 i（虚点cnt）有 ...
分类：
其他好文 时间：
2020-06-15 13:58:06
阅读次数：
53
1，客户端通过Distributed FileSystem 向namenode请求下载文件，namenode 通过查找元数据，返回文件块所在datanode的地址。 2，客户端挑选一台datanode（按照就近原则，返回的块地址根据网络拓扑图排序，距离客户端进的排在前面）服务器，建立连接，请求读取数 ...
分类：
其他好文 时间：
2020-06-14 16:34:06
阅读次数：
59
简介 MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MH ...
分类：
数据库 时间：
2020-06-13 12:36:03
阅读次数：
62
