前言Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD：SchemaRDD。SchemaRDD类似于传统关系型数据库的一张表，由两部分组成：Rows：数据行对象Schema：数据行模式：列名、列数据类型、列可否为空等S...
分类：
数据库 时间：
2015-07-29 12:02:57
阅读次数：
147
select count(distinct user_id) from dm_user where ds=20150701;
使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重
优化后为
set mapred.reduce.tasks=50;
select count(*) from
(select user_id...
分类：
其他好文 时间：
2015-07-28 13:11:29
阅读次数：
103
2015-07-28 10:03:21,557 Stage-2 map = 100%, reduce = 0%
Ended Job = job_1437720498561_1035 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1437720498561_10...
分类：
其他好文 时间：
2015-07-28 11:05:54
阅读次数：
705
hive安装有三种模式，分别为：嵌入模式、本地模式、远程模式hive安装步骤如下：第一步：安装包下载并安装最新版本安装包网址：http://hive.apache.org旧版本下载网址：http://archive.apach.org --------这里有apache发布的所有安装包，我们选择hi...
分类：
其他好文 时间：
2015-07-27 22:34:43
阅读次数：
201
1. Hive的安装
系统环境
装好hadoop的环境后，我们可以把Hive装在namenode机器上(NameNode-82)。
下载: hive-0.9.0.tar.gz
解压到： /home/hadoop/hive
hive配置
[root@NameNode-82 ~]# cd /home/hadoop/hive/conf
[root@NameNode-...
分类：
其他好文 时间：
2015-07-27 19:05:34
阅读次数：
176
vi tb_hive.txt
12 34 56
7 12 13
41 2 31
17 21 3
71 2 31
1 12 34
11 2 34
[root@NameNode-82 hive_w]# hive shell
建...
分类：
其他好文 时间：
2015-07-27 18:56:47
阅读次数：
124
环境：hadoop2.2.0hive0.13.1Ubuntu 14.04 LTSjava version "1.7.0_60"Oracle10g***欢迎转载。请注明来源*** http://blog.csdn.net/u010967382/article/details/38709751到下面地址...
分类：
数据库 时间：
2015-07-27 09:22:46
阅读次数：
274
开源大数据处理工具：查询引擎：phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive流式计算：Facebook Puma、Twitter Rainbird、YAhoo S4、Twitter Stor...
分类：
其他好文 时间：
2015-07-26 17:01:21
阅读次数：
343
sqoop list-tables --connect jdbc:mysql://namenode01:3306/employees --username hive --password hive mysqlurl=jdbc:mysql://namenode01:3306/employees sqo...
分类：
其他好文 时间：
2015-07-26 12:36:14
阅读次数：
130
hive> SHOW FUNCTIONS;!!=%&*+-/===>>=^absacosadd_monthsandarrayarray_containsasciiasinassert_trueatanavgbase64betweenbincasecbrtceilceilingcoalescecoll...
分类：
其他好文 时间：
2015-07-25 21:20:09
阅读次数：
290
