什么是MapJoin?
MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。
MapJoin的原理：
即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同...
分类：
其他好文 时间：
2014-09-12 22:09:44
阅读次数：
241
sqoop hive-0.13 hadoop-2.2.0...
分类：
数据库 时间：
2014-09-12 20:47:04
阅读次数：
275
1、获取工程到当前路径git clone ssh://gerrit-server/.git2、进入工程目录cd 3、安装gerrit的changeID自动生成hook脚本scp -p gerrit-server:hooks/commit-msg .git/hooks/chmod u+x .git/h...
分类：
其他好文 时间：
2014-09-12 16:59:33
阅读次数：
658
hive支持的数据类型路下
数值类型 Numeric Types
TINYINT (1字节,数据范围： -128 to 127)
SMALLINT (2字节,数据范围： -32,768 to 32,767)
INT (4字节,数据范围：-2,147,483,648 to 2,147,483,647)
BIGINT (8字节,数据范围： -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807)
FLOAT (4字节, 单精度浮点数)
DOUBLE (8字...
分类：
其他好文 时间：
2014-09-11 21:01:02
阅读次数：
207
grep 由于内置高效的字符串搜索算法，兼容各种风格的正则，且功能众多，有着 linux 下字符串处理三剑客之一的称号，但是到了如今的大数据/分布式时代，这种单机时代的工具显得有些廉颇老矣。。。 1、需求背景 我们...
分类：
其他好文 时间：
2014-09-11 04:33:02
阅读次数：
670
钩子(Hook)，是Windows消息处理机制的一个平台,应用程序可以在上面设置子程以监视指定窗口的某种消息，而且所监视的窗口可以是其他进程所创建的。当消息到达后，在目标窗口处理函数之前处理它。钩子机制允许应用程序截获处理window消息或特定事件。
分类：
其他好文 时间：
2014-09-10 12:25:10
阅读次数：
215
前面介绍了sparkSQL的运行架构，后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前，我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件，相关的信息如下：
hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点：http:...
分类：
数据库 时间：
2014-09-10 09:39:40
阅读次数：
378
sparkSQL1.1对数据的查询分成了2个分支：sqlContext 和 hiveContext。
在sqlContext中，sparkSQL可以使用SQL-92语法对定义的表进行查询，表的源数据可以来自：
RDDparquet文件json文件
在hiveContext中，sparkSQL可以使用HQL语法，对hive数据进行查询，sparkSQ...
分类：
数据库 时间：
2014-09-10 09:38:00
阅读次数：
406
hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Iteration request failed :...
分类：
其他好文 时间：
2014-09-10 00:28:59
阅读次数：
748
