1.安装 RHEL/CentOS/Oracle 5Navigate to this link and save the file in the /etc/yum.repos.d/ directory.RHEL/CentOS/Oracle 6Navigate to...
分类：
其他好文 时间：
2016-01-28 23:59:43
阅读次数：
454
参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境：hadoop2.3cdh5.0.2 hive 1.2.1 目标：安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候，发现cdh解压后的n...
分类：
其他好文 时间：
2016-01-23 10:20:16
阅读次数：
196
import com.hadoop.compression.lzo.LzoIndexer;import com.hadoop.compression.lzo.LzopCodec;FileOutputFormat. setCompressOutput( job, true); // 设置压缩FileO...
分类：
其他好文 时间：
2016-01-07 20:04:13
阅读次数：
233
环境如下： Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase的压缩，Hadoop安装了lzo和snappy，插入50条文本数据，每条数...
分类：
其他好文 时间：
2016-01-06 11:34:55
阅读次数：
131
今天微博大数据平台发邮件来说。他们有一个hql执行失败。可是从gateway上面的日志看不出来是什么原因导致的，我帮忙看了一下。最后找到了问题的解决办法，下面是分析过程：1、执行失败的hql：INSERT OVERWRITE TABLE brand_ad_user_with_interact_...
分类：
其他好文 时间：
2015-12-19 21:45:34
阅读次数：
329
问题描述：采用flume上传到HDFS通过原生的sink一直会报如下错误：flume支持lzo压缩前提条件：1、flume机器节点上安装有lzo库hadoop库。2、flume启动的时候配置过hadoop环境变量。3、hadoop配置支持lzo格式压缩。解决问题：
分类：
Web程序 时间：
2015-12-03 15:44:41
阅读次数：
839
1.读lzo文件需要添加以下代码，并导入lzo相关的jar包job.setInputFormatClass(LzoTextInputFormat.class);2.写lzo文件lzo格式默认是不支持splitable的，需要为其添加索引文件，才能支持多个map并行对lzo文件进行处理如果希望redu...
分类：
其他好文 时间：
2015-11-27 12:45:01
阅读次数：
140
