呼呼,解决hive的jdbc问题花了将近一天,而且解决办法竟然是这么的简单遇到问题select * from flag where 1 =1 and cust_no = 'A3325221981121080410' limit 5java.sql.SQLException: Error whil.....
分类:
数据库 时间:
2014-10-28 21:28:18
阅读次数:
413
hive> select * from part where name='123';Totaljobs = 1Launching Job 1 out of 1Number of reduce tasks is set to 0 since there's no reduce operatorStar...
分类:
其他好文 时间:
2014-10-28 21:26:30
阅读次数:
199
一、Impala简单介绍Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用同样的统一存储平台,Impala也使用同样的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。...
分类:
其他好文 时间:
2014-10-28 15:23:23
阅读次数:
467
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法(Tree和Rule的配合),也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件,由于hiveContext继承自sqlContext,关键的概念和组件类似,只不过后者针对hive的特性做了一些修正和重写,所以本篇就只介绍sqlContext的关键的概念和组件。
概念:
Logi...
分类:
数据库 时间:
2014-10-27 12:53:06
阅读次数:
616
HIVE 0.11版本的bug
两次{{group by}}的bug
https://issues.apache.org/jira/browse/HIVE-5149
SELECT key, COUNT(*)
FROM (
SELECT key, value, COUNT( * )
FROM src
GROUP BY key, value
) a
GROUP BY key;...
分类:
其他好文 时间:
2014-10-26 22:54:36
阅读次数:
217
1、Eclipse 读取hdfs文件错误: java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724...
分类:
其他好文 时间:
2014-10-26 16:53:15
阅读次数:
178
1、小、大表 join
在小表和大表进行join时,将小表放在前边,效率会高,hive会将小表进行缓存。
2、mapjoin
使用mapjoin将小表放入内存,在map端和大表逐一匹配,从而省去reduce。
例子:
select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1
在0.7版本...
分类:
其他好文 时间:
2014-10-25 23:04:26
阅读次数:
315
周六hive 桶相关特性分析hive 子查询特别分析hive优化方式和使用技巧
分类:
其他好文 时间:
2014-10-25 00:43:50
阅读次数:
133
Hive是基于Hadoop平台的,它提供了类似SQL一样的查询语言HQL。有了Hive,如果使用过SQL语言,并且不理解Hadoop MapReduce运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL查询语句提交Hiv.....
分类:
其他好文 时间:
2014-10-24 14:23:25
阅读次数:
201