1 节点类型 2 Stat 结构体 1）czxid-创建节点的事务 zxid 每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。 事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1 小于 ...
分类：
其他好文 时间：
2020-07-21 14:07:08
阅读次数：
60
1 HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 Name ...
分类：
其他好文 时间：
2020-07-21 13:55:58
阅读次数：
69
官网语法如下所示https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-AlteringandDroppingTables ***注意:***REPLACE列 替换所有现有列，只更改表的模式，而不是 ...
分类：
其他好文 时间：
2020-07-21 09:46:44
阅读次数：
105
Spark基础入门 1、spark的核心概念 2、spark的四大特性 3、spark的整体架构 4、spark的集群安装部署 5、spark的集群的启动和停止 6、spark的集群web管理界面 7、spark-shell Driver 它会执行客户端写好的main方法，它会构建一个名叫Spark ...
分类：
其他好文 时间：
2020-07-21 09:31:03
阅读次数：
90
什么是Hive： 数据仓库软件，可以通过SQL读写和管理分布式存储的大型数据集，结构可以映射在已经存储的数据。用户可以通过命令行工具和JDBC连接到Hive。 Hive Commands： quit/exit：退出interactive shell reset：重置配置设定到默认值。 set =：设 ...
分类：
其他好文 时间：
2020-07-21 01:27:08
阅读次数：
119
1．集群规划 在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。 2．解压安装 （1）解压 Zookeeper 安装包到/opt/module/目录下 [atguigu@hadoop102 software]$ tar -zxvf zookeep ...
分类：
其他好文 时间：
2020-07-21 01:06:25
阅读次数：
87
mysql的文件系统 1.mysql提供的存储引擎 01）InnoDB 适合数据增删改查 02）MyISAM 存储一些只读的数据 03）MEMORY 支持hash索引 04）ARCHIVE 05）FEDERATED 06）EXAMPLE 07）BLACKHOLE 08）MERGE 09）NDBCLU ...
分类：
数据库 时间：
2020-07-20 22:53:18
阅读次数：
113
一、报错信息： Exception in thread "main" java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.util.ReflectionUtils.newInstance( ...
分类：
编程语言 时间：
2020-07-20 15:47:15
阅读次数：
74
1、用途 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生 ...
分类：
其他好文 时间：
2020-07-20 13:26:58
阅读次数：
71
一.DStream的两类操作 DStream内部其实是RDD序列，所有的DStream操作最终都转换为RDD操作。通过分析源码，可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性： 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类：
其他好文 时间：
2020-07-20 13:13:18
阅读次数：
64
