一、安装 一、课前准备 1. 安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。 二、课堂主题 讲解hive1.2.2版本的三种常见安装部署模式 三、课堂目标 1. 熟练搭建内嵌式hive环境 2. 熟练搭建本地式hive环境 3. 熟练搭建远 ...
分类：
其他好文 时间：
2020-06-26 01:33:04
阅读次数：
115
开窗函数的理解参见: 理解hive中的开窗函数 over()中除了可以使用partition by选择分组字段外, 还有以下函数 order by 排序 指定聚合行的范围, 配合order by使用 current row： 当前行 n PRECEDING： 往前 n 行数据 n FOLLOWING... ...
分类：
其他好文 时间：
2020-06-25 21:54:18
阅读次数：
76
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关 ...
分类：
数据库 时间：
2020-06-25 21:29:31
阅读次数：
581
题目一： 我们有如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 u02 2017 ...
分类：
其他好文 时间：
2020-06-25 21:23:41
阅读次数：
87
原来用户执行sql会存储在desktop_document2表中，用户可以在前端界面对其进行删除，为了优化审计，建立一个新表desktop_document2_history，并建立一个触发器，实时更新。 添加一个触发器，记录所有用户的执行sql DROP TABLE IF EXISTS `desk ...
分类：
其他好文 时间：
2020-06-25 21:10:50
阅读次数：
128
开窗函数简单介绍 与聚合函数一样，开窗函数也是需要对行进行分组, 然后使用聚合算子. 可是它不像普通聚合函数那样每组只返回一个值，而是每一行返回一个窗口的聚合结果. 举例说明 数据如下 hive (default)> select * from over_test; open_test.name o... ...
分类：
其他好文 时间：
2020-06-25 19:37:31
阅读次数：
197
首先 win+x -> 设置 -> 更新和安全 -> 开发者选项 -> 开发者模式 然后 win+r -> 输入control -> 程序 -> 启用或关闭Windows功能 -> 适用于 Linux 的 Windows 子系统 登陆：https://docs.microsoft.com/en-us ...
分类：
系统相关 时间：
2020-06-25 13:57:18
阅读次数：
179
ODS（Operational Data Store）：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 在ODS一般需要2个重要的步骤，示例如下： 1.建立ODS层的Hive表。 drop table if exists ods_start_log; CREATE EXTE ...
分类：
其他好文 时间：
2020-06-25 13:53:34
阅读次数：
192
SESSION级别： set param_cd=param_value; beeline --hiveconf param_cd=param_value; 系统级别： 配置hive-site.xml文件(位于$HIVE_HOME/conf)。其中默认的配置都在hive-default.xml.tem ...
分类：
其他好文 时间：
2020-06-25 13:42:35
阅读次数：
59
1、将“Paris.zip”文件解压，把生成包放到电脑任意盘的根目录下。 2、打开Pairs文件，新建.xls文件，将下图1数据，转换成下表 -1。 图1 员工编号 姓名 本月工资 工资新制 错误程度 数字 中文 数字 年 普通 6 3 小数2位 月 严重 5 4 小数3位 全选 7 5 非数字 不 ...
分类：
其他好文 时间：
2020-06-25 12:03:01
阅读次数：
82
