安装Impala Impala是一个针对Apache Hadoop的开源分析数据库，可以快速返回查询响应。 按照以下步骤，通过从源码构建在集群上设置Impala。 下载最新版本。请参阅Impala下载页面以获取最新版本的链接。 检查 README.md 文件，以获得指向构建说明的指针。 请检查MD5 ...
分类：
其他好文 时间：
2021-02-06 11:41:43
阅读次数：
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
单机启动 1、获取Kafka 2、解压Kafka $ tar -xzf kafka_2.13-2.7.0.tgz $ cd kafka_2.13-2.7.0 3、启动zk（Kafka包中自带zk程序和配置文件） 配置ZK的日志路径 # Start the ZooKeeper service # No ...
分类：
其他好文 时间：
2021-02-04 12:16:31
阅读次数：
0
zookeeper.properties # the directory where the snapshot is stored. dataDir=/tmp/zookeeper # the port at which the clients will connect clientPort=2181 ...
分类：
其他好文 时间：
2021-02-04 12:14:03
阅读次数：
0
1. export 可新增，修改或删除环境变量，export 的效力仅限于该次登陆操作。 2. 在/etc/profile文件中添加变量对所有用户生效（永久的） 示例： 将zookeeper bin加入到环境变量： 本机zookeeper的目录是 /opt/apps/zookeeper/ vim / ...
分类：
其他好文 时间：
2021-02-03 10:36:21
阅读次数：
0
备注：此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle ...
分类：
其他好文 时间：
2021-02-02 10:48:15
阅读次数：
0
UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
两阶段提交 two-phase commit (2PC) 三阶段提交 three-phase commit (3PC) Paxos 算法 ZAB 算法 2PC 两阶段提交，强一致性算法。常用在分布式数据库中，如分布式事务（tcc）。 undo 记录原始数据的样子，事务失败了恢复，成功了记入 redo ...
分类：
其他好文 时间：
2021-02-01 12:36:44
阅读次数：
0
Hadoop搭建HA遇到的坑 重要报错信息 Zookeeper日志 Cannot open channel to 2 at election address node03/172.17.0.4:3888 java.net.ConnectException: Connection refused (C ...
分类：
其他好文 时间：
2021-02-01 12:17:43
阅读次数：
0
ZooKeeper是什么 就像冯巩每次出场都说：“亲爱的观众朋友们，我想死你们啦”一样，我再哔哔一次，学习大数据官网很重要。Zookeeper官网看这里ZooKeeper ZooKeeper 是一个开源的分布式协调服务，它本身也是分布式设计。它提供了一组简单的原语，基于这些指令，分布式应用能够实现同 ...
分类：
其他好文 时间：
2021-01-30 12:04:59
阅读次数：
0
