1. 只支持相等JOIN。2. 多表连接当使用不同的列进行JOIN时，会产生多个MR作业。3. 最后的表的数据是从流中读取，而前面的会在内存中缓存，因此最好把最大的表放在最后。SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val FROM a JOIN b...
分类：
其他好文 时间：
2015-11-06 22:19:01
阅读次数：
245
hive 提供了通过脚本定制 mapper 和 reducer 的功能，这一功能需要用到 transform 函数。默认情况下， transform 函数中带入的参数会被用 '\t 分隔开，并且以字符串对方式传入到用户脚本中。输入中 NULL 值会被转换成字符串 '\N'。脚本的输出使用的分隔符也是...
分类：
其他好文 时间：
2015-11-05 11:58:55
阅读次数：
346
5、Sqoop安装配置在rmanager上操作#tar-zxfsqoop-1.4.5.bin__hadoop-2.5.0.tar.gz-C/var/data/#cd/var/data/;mvsqoop-1.4.5sqoop##这里的sqoop是编译后的版本#mvsqoop/conf/sqoop-site-template.xmlsqoop/conf/sqoop-site.xml#cp/opt/mysql-connector-java-5.1.18-bin.jarsqoop..
分类：
其他好文 时间：
2015-11-05 00:57:19
阅读次数：
315
3、Hive安装配置3.1安装MySQL在datanode5上安装MySQL#yum-yinstallmysql-servermysql#mysqlmysql>grantallprivilegeson*.*tohive@‘10.40.214.%‘identifiedby"hive";mysql>flushprivileges;3.2安装hive#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/var/data/;mv/var/data/apa..
分类：
其他好文 时间：
2015-11-05 00:57:10
阅读次数：
278
转自 http://www.tuicool.com/articles/qyUzQj最近在研究Impala，还是先回顾下Hive的SQL执行流程吧。Hive有三种用户接口：cli (Command line interface)bin/hive或bin/hive –service cli命令行方式（默...
分类：
数据库 时间：
2015-11-04 19:19:28
阅读次数：
280
转自：http://lxw1234.com/archives/2015/09/484.htm关键字：Hive 复制表Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM ...
分类：
其他好文 时间：
2015-11-04 02:00:14
阅读次数：
375
相对于使用MapReduce或者Spark Application的方式进行数据分析，使用Hive SQL或Spark SQL能为我们省去不少的代码工作量，而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具，当这些内置的UDF不能满足于我们的需要时，Hi...
分类：
数据库 时间：
2015-11-02 20:49:04
阅读次数：
368
hive中参数分为三类，第一种system环境变量信息，是系统环境变量信息；第二种是env环境变量信息，是当前用户环境变量信息；第三种是hive参数变量信息，是由hive-site.xml文件定义的以及当前hive会话定义的环境变量信息。其中第三种hive参数变量信息中又由hadoop hdfs.....
分类：
其他好文 时间：
2015-11-02 19:09:38
阅读次数：
1479
之前通过命令行的界面可以操作Hive，可是在实际的生产环境中，往往都是需要写API的，因此对Hive的API简单的列举了一下。并对Hive进行了一个简单的封装。具体的封装可以参考github网站主页：https://github.com/ljy2015/HiveUtil 在这个过程中，其本质...
Hive几种数据导出方式 今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种： （1）、导出到本地文件系统； （2）、导出到HDFS中； （3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。 一、导出到本地文件系统...
分类：
其他好文 时间：
2015-11-02 17:24:44
阅读次数：
312
