码迷,mamicode.com
首页 > 其他好文 > 详细

hive只扫描一遍表实现查询不同条件的数据

时间:2021-01-13 10:40:03      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:cisa   需要   set   har   类型   from   div   优化   pre   

工作中有一张类型信息表,有时候需要不同的类型信息需要多次扫描这张表,表很大的时候影响效率。

优化前:

select t1.fa_id,t2.srch_char_val,t3.srch_char_val from 
(select fa_id from cisadm_ods.ods_cis_ci_fa_df  ) t1
left join 
(select * from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd)="aaaa") t2 
on t1.fa_id=t2.fa_id
left join 
(select * from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd)="bbbb") t3
on t1.fa_id=t3.fa_id

优化后:

使用collect_set(if())这种方式对值进行条件聚合,然后把值从set中取出

select  fa_id
,collect_set(if(trim(char_type_cd) = "WXSFCG",srch_char_val,null))[0]
,collect_set(if(trim(char_type_cd) = "ZYLX",srch_char_val,null))[0]
from cisadm_ods.ods_cis_ci_fa_char_df
where trim(char_type_cd) in ("WXSFCG","ZYLX") 
group by fa_id

 

hive只扫描一遍表实现查询不同条件的数据

标签:cisa   需要   set   har   类型   from   div   优化   pre   

原文地址:https://www.cnblogs.com/wangbin2188/p/14260594.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!