Hive优化总结---by 食人花优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对j...
分类：
其他好文 时间：
2014-07-22 22:55:15
阅读次数：
271
最近在优化hiveSQL，
下面是一段排序，分组后取每组第一行记录的SQL
INSERT OVERWRITE TABLE t_wa_funnel_distinct_temp PARTITION (pt='${SRCTIME}')
SELECT
bussiness_id,
cookie_id,
session_id,
funnel_...
分类：
数据库 时间：
2014-07-22 17:42:31
阅读次数：
344
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
一、创建表 在官方的wiki里，example是这种：Sql代码 CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTI...
分类：
数据库 时间：
2014-06-21 08:34:09
阅读次数：
287
一、 创建表
在官方的wiki里，example是这样的：
Sql代码
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITION...
分类：
数据库 时间：
2014-05-14 14:50:27
阅读次数：
463
