一：执行SQL的方式 1.配置的键值 2.minimal下运行fetch 3.设定hive.fetch.task.conversion=more 4.在more下运行fetch 二：虚拟列 一共三个虚拟咧 INPUT__FILE__NAME: BLOCK__OFFSET__INSIDE__FILE: ...
分类：
其他好文 时间：
2016-11-08 23:18:21
阅读次数：
231
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 欢迎转载,转载请注明出处. 一.配置MapReduce Maven工程 新建一个Maven工程,将CDH集群的相关xml配置文件(主要是core-site.xml,hdfs-site.xml,mapred-sit ...
先贴一张原理图(摘自hadoop权威指南第三版) 实际中看了半天还是不太理解其中的Partition,和reduce端的二次排序,最终根据实验来结果来验证自己的理解 1eg 数据如下 2014010114 标识20140101日的温度为14度,需求为统计每年温度的最最高值 2014010114 20 ...
分类：
编程语言 时间：
2016-11-03 15:59:30
阅读次数：
287
写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven） MapRed ...
分类：
系统相关 时间：
2016-11-03 11:36:52
阅读次数：
283
1、order by hive中的order by 和传统sql中的order by 一样，对数据做全局排序，加上排序，会新启动一个job进行排序，会把所有数据放到同一个reduce中进行处理，不管数据多少，不管文件多少，都启用一个reduce进行处理。如果指定了hive.mapred.mode=s ...
分类：
其他好文 时间：
2016-11-02 20:26:27
阅读次数：
254
1 CopyTable 工具 用法： CopyTable is a utility that can copy part or of all of a table, either to the same cluster or another cluster. The target table mus ...
分类：
其他好文 时间：
2016-10-31 18:27:40
阅读次数：
329
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 欢迎转载 最近把之前写的Hadoop MapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以 ...
分类：
其他好文 时间：
2016-10-27 19:50:59
阅读次数：
1259
错误： org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed 错误原因： 本地磁盘空间不足非hdfs (我是在myeclipse中调试程序，本地tmp目录占满) 解 ...
分类：
Web程序 时间：
2016-10-09 07:06:51
阅读次数：
216
1、错误 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed2、原因 本地磁盘空间不足非h ...
分类：
编程语言 时间：
2016-10-09 07:02:39
阅读次数：
244
错误： org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt 原因： 错误很明显，磁盘空间不足，但郁闷的是，进各节点查看，磁盘空间使用不到40%，还有很多空间。 郁闷很长时间才发现，原来有个map任务运行时 ...
分类：
Web程序 时间：
2016-10-09 06:48:25
阅读次数：
884
