一、安装Anaconda3 下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 注意：Anaconda自带Python，根据要安装的python版本选择对应的anaconda包，我安装的是Anaconda3-2018.12-Linu ...
分类：
系统相关 时间：
2020-08-01 21:23:55
阅读次数：
92
1，简介 Hive : 数据仓库。Hive：解释器，编译器，优化器等。Hive 运行时，元数据存储在关系型数据库里面 2，架构 （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至H ...
分类：
其他好文 时间：
2020-07-30 01:33:30
阅读次数：
77
Impyla是用于分布式查询引擎的HiveServer2实现(如Impala、Hive)的python客户端 1)安装impyla pip install impyla 安装报错 解决办法： 根据提示下载对应的工具 https://visualstudio.microsoft.com/zh-hans ...
分类：
编程语言 时间：
2020-07-29 21:58:39
阅读次数：
103
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.3</version> </dependency> <!-- https://mvnrepos ...
分类：
其他好文 时间：
2020-07-29 09:53:42
阅读次数：
61
第1章 Superset安装及使用 Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。 由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自 ...
分类：
其他好文 时间：
2020-07-29 00:42:59
阅读次数：
103
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类：
其他好文 时间：
2020-07-29 00:41:18
阅读次数：
111
Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树，当RDD的一个分区丢失，可以根据祖先树重建该分区。 RDD有两组操作，转换(transformation)和行动(actio ...
分类：
其他好文 时间：
2020-07-28 22:37:30
阅读次数：
72
透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。 以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。 对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。 现在我们要转换成目标的数据是 ...
分类：
其他好文 时间：
2020-07-28 17:17:13
阅读次数：
131
php 压缩文件夹 例子来源于php官方文档。 <?php { /** * Add files and sub-directories in a folder to zip file. * @param string $folder * @param ZipArchive $zipFile * @p ...
分类：
Web程序 时间：
2020-07-28 16:55:09
阅读次数：
90
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
