cli命令showfunctions;descfunctionconcat;descfunctionextendedconcat;查看某个函数怎么使用的例子nvl函数coalesce(v1,v2,...)返回参数中第一个非空值，如果所有值都为null返回null；set.cli.print.header=true;winfunc员工工资标识idmoneytype关系型运算符优先级高到低为：no..
分类：
其他好文 时间：
2015-11-07 19:13:22
阅读次数：
870
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limi...
分类：
其他好文 时间：
2015-11-06 22:27:00
阅读次数：
267
1. 只支持相等JOIN。2. 多表连接当使用不同的列进行JOIN时，会产生多个MR作业。3. 最后的表的数据是从流中读取，而前面的会在内存中缓存，因此最好把最大的表放在最后。SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val FROM a JOIN b...
分类：
其他好文 时间：
2015-11-06 22:19:01
阅读次数：
245
hive 提供了通过脚本定制 mapper 和 reducer 的功能，这一功能需要用到 transform 函数。默认情况下， transform 函数中带入的参数会被用 '\t 分隔开，并且以字符串对方式传入到用户脚本中。输入中 NULL 值会被转换成字符串 '\N'。脚本的输出使用的分隔符也是...
分类：
其他好文 时间：
2015-11-05 11:58:55
阅读次数：
346
5、Sqoop安装配置在rmanager上操作#tar-zxfsqoop-1.4.5.bin__hadoop-2.5.0.tar.gz-C/var/data/#cd/var/data/;mvsqoop-1.4.5sqoop##这里的sqoop是编译后的版本#mvsqoop/conf/sqoop-site-template.xmlsqoop/conf/sqoop-site.xml#cp/opt/mysql-connector-java-5.1.18-bin.jarsqoop..
分类：
其他好文 时间：
2015-11-05 00:57:19
阅读次数：
315
3、Hive安装配置3.1安装MySQL在datanode5上安装MySQL#yum-yinstallmysql-servermysql#mysqlmysql>grantallprivilegeson*.*tohive@‘10.40.214.%‘identifiedby"hive";mysql>flushprivileges;3.2安装hive#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/var/data/;mv/var/data/apa..
分类：
其他好文 时间：
2015-11-05 00:57:10
阅读次数：
278
转自 http://www.tuicool.com/articles/qyUzQj最近在研究Impala，还是先回顾下Hive的SQL执行流程吧。Hive有三种用户接口：cli (Command line interface)bin/hive或bin/hive –service cli命令行方式（默...
分类：
数据库 时间：
2015-11-04 19:19:28
阅读次数：
280
转自：http://lxw1234.com/archives/2015/09/484.htm关键字：Hive 复制表Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM ...
分类：
其他好文 时间：
2015-11-04 02:00:14
阅读次数：
375
相对于使用MapReduce或者Spark Application的方式进行数据分析，使用Hive SQL或Spark SQL能为我们省去不少的代码工作量，而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具，当这些内置的UDF不能满足于我们的需要时，Hi...
分类：
数据库 时间：
2015-11-02 20:49:04
阅读次数：
368
hive中参数分为三类，第一种system环境变量信息，是系统环境变量信息；第二种是env环境变量信息，是当前用户环境变量信息；第三种是hive参数变量信息，是由hive-site.xml文件定义的以及当前hive会话定义的环境变量信息。其中第三种hive参数变量信息中又由hadoop hdfs.....
分类：
其他好文 时间：
2015-11-02 19:09:38
阅读次数：
1479
