近日在线上发现有些mapreduce作业的执行时间很长，我们需要解决这个问题。输入文件的大小是5G，采用了lzo压缩，整个集群的默认block大小是128M。本文将详细描述这次线上问题的排查过程。...
分类：
其他好文 时间：
2016-07-14 15:38:19
阅读次数：
179
转自：http://www.iteblog.com/archives/992 Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhu ...
分类：
其他好文 时间：
2016-07-11 14:06:21
阅读次数：
214
网址: http://www.cnblogs.com/panfeng412/archive/2012/12/24/applications-scenario-summary-of-compression-algorithms.html GZIP、LZO、Zippy/Snappy是常用的几种压缩算法， ...
分类：
移动开发 时间：
2016-05-11 18:14:15
阅读次数：
229
先说一下环境，有两个集群，一个新的一个旧的，打算把新的调试好然后把旧的关掉。新：ClouderaExpress5.6.0，CDH-5.6.0旧:ClouderaExpress5.0.5，CDH-5.0.5新集群搭建过程中发现一个问题，执行以下命令对lzo文件创建索引，在新集群中job无法提交到指定队列，同样的命令在旧集群..
分类：
编程语言 时间：
2016-04-19 00:48:33
阅读次数：
174
