1、使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一 ...
分类：
其他好文 时间：
2020-07-05 21:00:05
阅读次数：
80
hive当中也带有很多的窗口函数以及分析函数，主要用于以下这些场景 （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 1、创建hive表并加载数据 创建表 hive (hive_explode)> create table order_detail( ...
分类：
其他好文 时间：
2020-07-05 20:55:24
阅读次数：
60
1、If函数: if *** 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull hive> ...
分类：
其他好文 时间：
2020-07-05 19:44:47
阅读次数：
119
1、字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 hive> select length('abcedfg') from tableName; 7 2、字符串反转函数：reverse 语法: reverse(string A) 返 ...
分类：
其他好文 时间：
2020-07-05 19:32:00
阅读次数：
71
1、UNIX时间戳转日期函数: from_unixtime *** 语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区 ...
分类：
其他好文 时间：
2020-07-05 19:29:26
阅读次数：
65
1、取整函数: round *** 语法: round(double a) 返回值: BIGINT 说明: 返回double类型的整数值部分 （遵循四舍五入） hive> select round(3.1415926) from tableName; 3 hive> select round(3.5 ...
分类：
其他好文 时间：
2020-07-05 19:08:30
阅读次数：
87
1、等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE hive> select 1 from tableName where 1=1; 2、不等值比较: <> 语法: A <> B 操作类型: 所有基本类型 描述: 如果表达式A ...
分类：
其他好文 时间：
2020-07-05 17:05:09
阅读次数：
66
xlrd 模块方法 读取Excel file = 'route_info.xls' # 读取Excel信息,生成对象 read_book = xlrd.open_workbook(file) 获取sheet【表】相关方法，返回xlrd.sheet.Sheet()对象 sheet = read_boo ...
分类：
编程语言 时间：
2020-07-05 15:51:35
阅读次数：
60
HOG特征描述算子 前言 概念介绍 HOG特征：方向梯度直方图（Histogram of Oriented Gradient，HOG）特征是一种进行物体检测时的特征描述子，它是一种用于表征图像局部梯度方向和梯度强度分布特性的描述符。 特征描述子：计算机不能直接识别图像，所以特征描述子实际上就是图像的 ...
分类：
其他好文 时间：
2020-07-05 15:47:35
阅读次数：
47
1、mysql的安装，目的是存放hive的元数据 2、下载hive包，并进行解压 3、配置文件hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql: ...
分类：
其他好文 时间：
2020-07-05 01:05:03
阅读次数：
83
