码迷,mamicode.com
首页 >  
搜索关键字:hive 认证类    ( 5967个结果
select列表使用正则的小技巧(HIVE)
Hive 0.13.0之后,select列表支持正则表达式了。对于如下的应用场景create table tb2 like tb1insert overwrite table tb2 partition(dt=xx, hr=xx) select * from tb1 是不行的,因为后者是N个列,前者...
分类:其他好文   时间:2015-09-08 19:59:03    阅读次数:156
hive join on和where条件之间的区别
hive> select ljn001.*,ljn002.* > from ljn001 left outer join ljn002 > on (ljn001.a = ljn002.a and ljn001.b = ljn002.b and ljn001.b = 2); OK a b a b 1 ...
分类:其他好文   时间:2015-09-08 12:09:47    阅读次数:690
hive与hbase关联表
关于 hbase 和 hive 关联表 详细介绍:hive 创建 关联hbase表有2种形式:第一种:hive> create table hive(id string,name string, age int) > stored by 'org.apache.hadoop.hive.hba...
分类:其他好文   时间:2015-09-07 12:23:22    阅读次数:220
重新编译hive-exec 添加自定义函数
第一步 拷贝 hive-exec-1.1.0-cdh5.4.3.jar? 1、登录master服务器 2、拷贝该jar到 /home/hadoop/jars目录 第二步 发送 hive-exec-1.1.0-cdh5.4.3.jar 到其他服务器 1、使用hadoop用户 ? ?scp /home/hadoop/ja...
分类:其他好文   时间:2015-09-06 18:42:40    阅读次数:379
hive splict, explode, lateral view, concat_ws
hive> create table arrays (x array) > row format delimited fields terminated by '\001' > collection items terminated by '\002' > ; OK Time taken: 0.57...
分类:其他好文   时间:2015-09-06 15:53:02    阅读次数:501
根据日期进行表分区
一 使用SpagoBI和Hive进行互联网统计分区问题? 1 原来根据年月日进行分区再拼接SQL时会异常复杂,需要在Where条件后判断是否跨年,跨月,跨日等问题。 2 Hive的自定义函数不能再Where条件后返回字符串条件来进行...
分类:其他好文   时间:2015-09-06 13:12:04    阅读次数:590
Hive优化
hive.optimize.cp=true:列裁剪hive.optimize.prunner:分区裁剪hive.limit.optimize.enable=true:优化LIMIT n语句hive.limit.row.max.size=1000000:hive.limit.optimize.limi...
分类:其他好文   时间:2015-09-05 00:02:04    阅读次数:257
标签整理
1. MapReduce与mysql连接总结应用场景: 在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv、uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些是 hbase 或者 hive 目前亟待改进的....
分类:其他好文   时间:2015-09-04 22:24:18    阅读次数:275
Hive的执行生命周期
1.入口$HIVE_HOME/bin/ext/cli.sh 调用org.apache.hadoop.hive.cli.CliDriver类进行初始化过程 处理-e,-f,-h等信息,如果是-h,打印提示信息,并退出 读取hive的配置文件和.hiverc文件,设置HiveConf 创建一个控制台,进...
分类:其他好文   时间:2015-09-04 15:36:07    阅读次数:186
Hive中set相关设置
以下操作均可在$HIVE_HOME/bin/.hiverc文件中保存,设置为默认参数set hive.mapred.mode=strict;//开启strict模式,以下情况报错:(1)没有limit限制的order by语句.(2)动态分区插入set hive.cli.print.current....
分类:其他好文   时间:2015-09-04 12:32:17    阅读次数:167
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!