案例说明 现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072， 共有6040条数据对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释： ...
分类：
数据库 时间：
2018-04-11 00:17:29
阅读次数：
215
一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，string类型实现的是Java中的String，flo ...
分类：
数据库 时间：
2018-04-07 18:51:36
阅读次数：
217
Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 Ma ...
分类：
其他好文 时间：
2018-04-03 20:09:51
阅读次数：
193
最近由于工作上和生活上的一些事儿好久没来博客园了，但是写博客的习惯还是得坚持，新的一年需要更加努力，困知勉行，终身学习,每天都保持空杯心态.废话不说，写一些最近使用到的Presto SQL和Hive SQL的体会和对比. 一.JSON处理对比 Hive select get_json_object( ...
分类：
数据库 时间：
2018-01-31 22:24:44
阅读次数：
3966
decode()函数简介： 主要作用：将查询结果翻译成其他值（即以其他形式表现出来，以下举例说明）； 使用方法： Select decode（columnname，值1,翻译值1,值2,翻译值2,...值n,翻译值n,缺省值） From talbename Where … 其中columnname为 ...
分类：
数据库 时间：
2017-11-30 15:01:53
阅读次数：
323
017-Hadoop Hive sql语法详解7-去重排序、数据倾斜 ...
分类：
数据库 时间：
2017-11-25 19:20:01
阅读次数：
210
016-Hadoop Hive sql语法详解6-job输入输出优化、数据剪裁、减少job数、动态分区 ...
分类：
数据库 时间：
2017-11-25 19:16:25
阅读次数：
323
在CM管理界面上要开启一些选项，这里不做详细说明，网上一查都有，推荐文章http://www.jianshu.com/p/055c40dcb8c5 但仅限于看配置的内容，至于下面的，作者没有详细解释sentry的权限设置是在hive sql中完成的，需要用Beeline登录，如beeline -u jdbc:hive2://hiveIP:10000 -n user -p passwd用户名密码属于
分类：
其他好文 时间：
2017-11-24 17:04:23
阅读次数：
2025
Spark2.x 引入了很多优秀特性，性能上有较大提升，API 更易用。在“编程统一”方面非常惊艳，实现了离线计算和流计算 API 的统一，实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spark 2.x 基本上是基于 Spark 1.x 进行了更多的功能和模块的扩展，及性 ...
分类：
其他好文 时间：
2017-07-28 14:43:21
阅读次数：
140
本文记录的是，在数据处理过程中，遇到了一个sql执行很慢，对一些大型的hive表还会出现OOM，一步一步通过参数的设置和sql优化，将其调优的过程。 先上sql 可以看到这个sql由1个join，一个去重语句，组成，这两种操作都是很耗费资源的。 1、对链接操作，小表放在链接左边。 这是一个老生常谈的 ...
分类：
数据库 时间：
2017-07-23 11:24:09
阅读次数：
319
