1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hi ...
分类：
其他好文 时间：
2019-01-15 18:30:33
阅读次数：
188
[From] http://bigdataprogrammers.com/string-date-conversion-hive/ Please refer below table to convert any date format into fixed format i.e yyyy-MM-dd ...
分类：
其他好文 时间：
2019-01-15 15:49:45
阅读次数：
642
需求:某资产近一个月的资产值 比如：今天是2018年2月28日，近一个月若是按照自然月来算，那么是2018年2月1日至2018年2月28日。最终需要的日期格式为：yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期 ...
分类：
其他好文 时间：
2019-01-15 14:34:04
阅读次数：
209
1.hbase的简介：??HBASE是bigTable,（源代码是Java编写）的开源版本，是ApacheHadoop的数据库，是建立在hdfs之上，被设计用来提供高可靠性，高性能、列存储、可伸缩、多版本，的Nosql的分布式数据存储系统，实现对大型数据的实时，随机的读写请求。更是弥补了hive不能低延迟、以及行级别的增删改的缺点。??HBASE依赖于hdf
分类：
其他好文 时间：
2019-01-15 12:06:06
阅读次数：
752
案例一：需求：现有这么一批数据，现要求出：每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数。数据：用户名，月份，访问次数A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-
分类：
其他好文 时间：
2019-01-15 10:36:36
阅读次数：
261
1. 多表join优化代码结构： select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现IN/EXISTS子查 ...
分类：
其他好文 时间：
2019-01-15 00:40:38
阅读次数：
216
1.hive的数据倾斜 介绍：只要在分布式一定有shuffle，避免不了出现数据倾斜，在混淆数据的过程中出现数据分布不均匀。比如：在MR编程中reducetask阶中的数据的大小不一致，即很多的数据集中到了一个reducetask中，hive的数据倾斜就是mapreduce的数据倾斜maptaskreducetask最后就是reducetask阶段的数据倾斜。 不会产生数据倾斜
分类：
其他好文 时间：
2019-01-14 21:23:35
阅读次数：
331
创建视图：createviewview_piaofangasselect*fromt_name;查看视图：showtables;#既有表又有视图showviews#只查看视图查看视图的详细信息descformatted|extended删除视图dropviewview_name;使用视图的注意点：Hive中的试图，仅仅是一个sql语句的快捷方式hive中的视图只是逻辑视图，没有物化视图hive的视
分类：
其他好文 时间：
2019-01-14 17:15:17
阅读次数：
201
查看函数的介绍（必读）：showfunctions;#查看hive中的所有内置函数descfunctionextended函数名;#查看某个函数的详细介绍1.hive中常见的内置函数1）集合函数 创建数组 array(ele1,ele2,ele3) 例：selectarray(1,2,3,4); 判断值是否在数
分类：
其他好文 时间：
2019-01-14 17:12:59
阅读次数：
272
1.基本数据类型因为hive也是java语言编写的，所以他的基本数据类型和java的大致相同：2.基本数据类型（1）array(数组)特点：个数可以不相同，但是类型相同例：以family表（namestringfamilesarray<string>）为例：#建表语句：createtablet_family(namestring,familesarray<string>)r
分类：
其他好文 时间：
2019-01-14 15:59:11
阅读次数：
318
