第一步环境准备： jdk安装，用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. ...
分类：
其他好文 时间：
2020-05-27 20:47:07
阅读次数：
90
注意：impyla 既可以连接impala， 也可以连接hive 环境 ： windows10 python版本：3.6 hive版本：1.1 亲测可用！ impyla安装过程 安装依赖 pip install bit_array pip install thrift pip install thr ...
分类：
编程语言 时间：
2020-05-27 18:25:56
阅读次数：
148
假设存在表格如下： select 'a' as category, 19 as duration union all select 'b' as category, 15 as duration union all select 'c' as category, 12 as duration uni ...
分类：
编程语言 时间：
2020-05-27 11:51:22
阅读次数：
328
使用库Pyhive 安装：pip install Pyhive -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com from pyhive import hive # or import hive c ...
分类：
其他好文 时间：
2020-05-27 01:04:26
阅读次数：
60
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中； 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 ...
分类：
其他好文 时间：
2020-05-25 14:00:35
阅读次数：
51
1、presto是什么 Presto是由Facebook开发的一个分布式SQL查询引擎，是专门设计为用来专门进行大数据实时查询计算而设计和开发的产品。 它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。 2、presto特点 prest ...
分类：
其他好文 时间：
2020-05-23 18:05:11
阅读次数：
249
自定义UDF 1.导入依赖 2.创建类，集成UDF，打jar，并放进hive/lib/目录下 3.在hive命令行中 4.使用自定义函数 自定义UDTF 1.导入依赖 2.创建类，集成GenericUDTF，实现方法 3.在hive命令行中 4.使用自定义函数 ...
分类：
其他好文 时间：
2020-05-22 19:31:18
阅读次数：
39
一、Hive中load语句的语法说明 Hive Load语句不会在加载数据的时候做任何转换工作，而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法格式如下： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam ...
分类：
其他好文 时间：
2020-05-22 13:14:50
阅读次数：
53
