1. 开启 Map 输出阶段压缩(中间压缩)

标签：org   任务   设置   res   codec   als   mapreduce   阶段   snappy   

1 开启 Map 输出阶段压缩(中间压缩)
　　开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下：
　　步骤1: 开启 Hive 中间传输数据压缩功能
　　　　map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.intermediate 默认是 false.
　　　　set hive.exec.compress.intermediate=true;
　　步骤2: 开启 mapreduce 中 map 输出压缩功能
　　　　set mapreduce.map.output.compress=true;
　　步骤3: 设置 mapreduce 中 map 输出数据的压缩方式
　　　　set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
　　　　set mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;
　　步骤4: 执行查询语句
　　　　select count(ename) name from emp;
　　由于数据量太小, 所以几乎看不到与不压缩的区别

1. 开启 Map 输出阶段压缩(中间压缩)

标签：org   任务   设置   res   codec   als   mapreduce   阶段   snappy   

原文地址：https://www.cnblogs.com/LIAOBO/p/13625686.html