reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。 使用java.lang.Math当中的Max求两列中最大值 创建hive表 create table test_udf(col1 int,col2 int) row format delimited fields t ...
分类：
其他好文 时间：
2020-07-05 21:00:30
阅读次数：
253
1、使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一 ...
分类：
其他好文 时间：
2020-07-05 21:00:05
阅读次数：
80
hive当中也带有很多的窗口函数以及分析函数，主要用于以下这些场景 （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 1、创建hive表并加载数据 创建表 hive (hive_explode)> create table order_detail( ...
分类：
其他好文 时间：
2020-07-05 20:55:24
阅读次数：
60
1、If函数: if *** 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull hive> ...
分类：
其他好文 时间：
2020-07-05 19:44:47
阅读次数：
119
1、字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 hive> select length('abcedfg') from tableName; 7 2、字符串反转函数：reverse 语法: reverse(string A) 返 ...
分类：
其他好文 时间：
2020-07-05 19:32:00
阅读次数：
71
1、UNIX时间戳转日期函数: from_unixtime *** 语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区 ...
分类：
其他好文 时间：
2020-07-05 19:29:26
阅读次数：
65
Apache概述 ''' Apache HTTPD Server 简称 Apache，是 Apache 软件基金会的一个开源的网页服务器， 可以在大多数计算机操作系统中运行，由于其多平台和安全性被广泛使用， 是最流行的 Web 服务器端软件之一。它快速、可靠并且可通过简单的 API 扩展，将 Per ...
分类：
Web程序 时间：
2020-07-05 19:25:06
阅读次数：
72
1、取整函数: round *** 语法: round(double a) 返回值: BIGINT 说明: 返回double类型的整数值部分 （遵循四舍五入） hive> select round(3.1415926) from tableName; 3 hive> select round(3.5 ...
分类：
其他好文 时间：
2020-07-05 19:08:30
阅读次数：
87
下面安装的六步和通过Maven安装Java项目的方式相同 如果刚安装完IDEA，直接点击[Create New Project] 左侧选择Maven，然后先勾选上部的[Create from archetype],然后右侧选择[maven-archetype-quickstart] 填写GroupI ...
分类：
其他好文 时间：
2020-07-05 19:02:22
阅读次数：
90
DAG ： 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用： 记录了RDD之间的依赖关系，即RDD是通过何种变换生成的， 如下图：RDD1是RDD2的父RDD，通过flatMap操作生成 借助RDD之间的依赖关系，可以实现数据的容错， 即子分区(子RDD)数据丢失后，可以 ...
分类：
其他好文 时间：
2020-07-05 17:29:07
阅读次数：
56
