DDL数据定义 4.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=prop ...
分类：
其他好文 时间：
2020-06-26 16:46:06
阅读次数：
72
目录 Hive 简介 什么是Hive 为什么使用 Hive Hive 特点 Hive 和 RDBMS 的对比 Hive的架构 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface 2、跨语言服务 ： thrift server 提供了一 ...
分类：
其他好文 时间：
2020-06-26 14:53:40
阅读次数：
70
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Hadoop版本 2.7.3 2.7.3 2.7.3 Hive版本 2.1. ...
分类：
其他好文 时间：
2020-06-26 12:36:13
阅读次数：
86
一.基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT short 2byte有符号整数 20 INT INT int 4byte有符号整数 20 BIGINT BIGINT long 8byt ...
分类：
其他好文 时间：
2020-06-26 12:30:19
阅读次数：
48
DWD（Data Warehouse Detail）：数据明细层，结构和粒度与原始表保持一致，对ODS层数据进行清洗（取出空值、脏数据、超过极限范围的数据）。 DWD层的数据来源于ODS原始数据层，在原始数据层的Hive表里，只有一个字段，存储了原始的一条条日志信息，下面以事件（如商品点击事件，展示 ...
分类：
其他好文 时间：
2020-06-26 01:33:52
阅读次数：
262
一、安装 一、课前准备 1. 安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。 二、课堂主题 讲解hive1.2.2版本的三种常见安装部署模式 三、课堂目标 1. 熟练搭建内嵌式hive环境 2. 熟练搭建本地式hive环境 3. 熟练搭建远 ...
分类：
其他好文 时间：
2020-06-26 01:33:04
阅读次数：
115
开窗函数的理解参见: 理解hive中的开窗函数 over()中除了可以使用partition by选择分组字段外, 还有以下函数 order by 排序 指定聚合行的范围, 配合order by使用 current row： 当前行 n PRECEDING： 往前 n 行数据 n FOLLOWING... ...
分类：
其他好文 时间：
2020-06-25 21:54:18
阅读次数：
76
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关 ...
分类：
数据库 时间：
2020-06-25 21:29:31
阅读次数：
581
题目一： 我们有如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 u02 2017 ...
分类：
其他好文 时间：
2020-06-25 21:23:41
阅读次数：
87
开窗函数简单介绍 与聚合函数一样，开窗函数也是需要对行进行分组, 然后使用聚合算子. 可是它不像普通聚合函数那样每组只返回一个值，而是每一行返回一个窗口的聚合结果. 举例说明 数据如下 hive (default)> select * from over_test; open_test.name o... ...
分类：
其他好文 时间：
2020-06-25 19:37:31
阅读次数：
197
