Hive在0.11.0版本开始加入了row_number、rank、dense_rank分析函数，可以查询分组排序后的top值说明：row_number() over ([partition col1] [order by col2])rank() over ([partition col1] [o...
分类：
其他好文 时间：
2015-06-08 14:47:46
阅读次数：
11462
桶表1）桶是更为细粒度的数据范围划分，它能使一些特定的查询效率更高2）保存数据时，取分桶字段的哈希值，跟分桶数取余，然后将数据放到不同的桶（文件）里。1、定义：create table b1(id int, name string) clustered by (id) into 4 buckets;...
分类：
其他好文 时间：
2015-06-08 14:45:38
阅读次数：
427
Hive处理的数据是大数据，在保存表数据时不对数据进行校验，而是在读数据时校验，不符合格式的数据设置为NULL；读时模式的优点是，加载数据库快。传统的数据库如mysql、oracle是写时模式，不符合格式的数据写不进去。来自为知笔记(Wiz)
分类：
其他好文 时间：
2015-06-08 14:44:56
阅读次数：
184
在当前用户的家目录下有个.hivestory文件，里面存放了用户执行的hive操作记录，如下：[hadoop@hadoop1 hive-0.14]$ cat ~/.hivehistoryshow databases;quit;quit;create table pokes(foo int, bar ...
分类：
其他好文 时间：
2015-06-08 13:19:32
阅读次数：
290
order by： order by是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。 原因：在执行orderby时，hive使用一个reducer...
分类：
编程语言 时间：
2015-06-08 13:12:40
阅读次数：
152
hive默认使用derby数据库保存元数据，derby数据库比较小众，并且一次只能打开一个会话，一般修改为mysql数据库。1、修改conf/hive-site.xml配置项： javax.jdo.option.ConnectionURL jdbc:mysql://hadoop1:3306/hive...
分类：
数据库 时间：
2015-06-08 13:12:09
阅读次数：
212
使用hive cli的时候，会读取.hiverc脚本，在.hiverc脚本里可以做一些自己的预设。比如：set hive.cli.print.current.db=true;set hive.cli.print.header=true;.hiverc可以放在~（linux用户家目录）、$HIVE_H...
分类：
其他好文 时间：
2015-06-08 13:09:47
阅读次数：
124
1、下载hive并压缩2、修改conf下的文件 1）去掉所有文件的后缀.template 2）复制hive-default.xml为hive-site.xml，并编辑hive-site.xml中的内容为空： 3）编辑hive-env.sh里的内容：export JAVA_HOME=~/java/jd...
分类：
其他好文 时间：
2015-06-08 13:06:46
阅读次数：
108
利用sqoop将Hive数据表导出到Mysql...
分类：
数据库 时间：
2015-06-08 11:41:47
阅读次数：
162
利用sqoop将Mysql数据表导入到Hive...
分类：
数据库 时间：
2015-06-08 11:40:33
阅读次数：
206
