hive中数据倾斜

标签：倾斜   hive   参数调整   运行   spl   根据   阶段   扫描   空值   

• 由某些特殊值引起的数据倾斜
  参数设置方式：hive.optimize.skewjoin=true; 将造成倾斜的特殊值先不处理直接写入hdfs，然后新启一个mapjoin专门处理特殊值；可以通过参数设置数据量超过多少默认为特殊值，如hive.skewjoin.key=10000，表名超过10000条的key会被认定为特殊值；
  特殊值的处理也可以在sql中进行优化，在sql中将特殊值与非特殊值分别处理，然后再通过union all拼接，但这样会增加IO；
• 由空值引起的数据倾斜
  将空值的key变为一个字符串加上随机数，也可以借鉴特殊值的sql优化方式；
• 不同数据类型关联产生的数据倾斜
  如int型的用户id与string类型的用户id进行关联，hive默认会将hash按int类型分配，string类型的数据会全部分配到一个reduce中，此时应将int型转化为string再做关联
  2.group by + count distinct
  当sql中出现这种情况时，需预先对group by的字段进行去重处理，然后再进行count

hive中数据倾斜

标签：倾斜   hive   参数调整   运行   spl   根据   阶段   扫描   空值   

原文地址：https://blog.51cto.com/abezoo/2379042