用窗口函数可以解决这个问题： 例：select row_number() over(order by user_id desc) ,tab.* from dws_user_visit_month1 as tab limit 20; 结果： 其实要是单纯想加一个自增的行号，没有顺序要去的话 over( ...
分类：
数据库 时间：
2019-01-09 21:37:34
阅读次数：
663
一：什么是Hive（数据仓库）？ 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 M ...
分类：
其他好文 时间：
2018-11-16 23:34:00
阅读次数：
296
首先什么是UDF，UDF的全称为user-defined function，用户定义函数，为什么有它的存在呢？有的时候 你要写的查询无法轻松地使用Hive提供的内置函数来表示，通过写UDF，Hive就可以方便地插入用户写的处理代码并在查询中使用它们，相当于在HQL（Hive SQL）中自定义一些函数 ...
分类：
其他好文 时间：
2018-08-27 18:32:57
阅读次数：
142
较为详细且重要的一段报错信息是org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space 说一下解决方案，其实这个解决过程完全是摸索着来的。 set map ...
分类：
数据库 时间：
2018-08-25 15:03:30
阅读次数：
328
一 Hive SQL练习之影评案例 案例说明 现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072， 共有6040条数据对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipco ...
分类：
数据库 时间：
2018-08-12 19:59:48
阅读次数：
300
今天在测试在写hive sql的时候注意到在进行查询的时候我们把order by放在后面，前面如果没有这个字段，则执行报错。 他就会报下面的错误。其实这个时候我们就想着是不是哪里写错了。但是仔细一看。好像并没有错误。 这个时候我们就可能会想是不是因为在hive当中语句的执行顺序有问题。于是我在前面s ...
分类：
数据库 时间：
2018-08-06 19:15:22
阅读次数：
236
一 Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 ...
分类：
其他好文 时间：
2018-07-14 13:10:11
阅读次数：
189
一、常用数据库命令1、查询有哪些数据库 show databases?2、查询有哪些数据表：show tables3、显示所有函数： show functions4、使用use databasename;可以切换到某个数据库下示例（切换到test数据库）：use test5、查看当前数据库：select current_database()6、查询数据表有哪些字段及字段详情：descri
分类：
数据库 时间：
2018-07-08 21:14:07
阅读次数：
207
1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. 1.2 Hive的优缺点 优点: 可以直接访问HDFS,或者其它的标准分布式文件系统(s3,oss等),并将这些 ...
分类：
其他好文 时间：
2018-06-03 10:51:29
阅读次数：
149
一、over(partition by ......)主要和聚合函数sum()、count()、avg()等结合使用，实现分组聚合的功能 示列:根据day_id日期和mac_id机器码进行聚合分组求每一天的该机器的销量和即sum_num，hive sql语句:select day_id,mac_id ...
分类：
其他好文 时间：
2018-05-29 00:18:17
阅读次数：
303
