今天我们再谈谈Hive中的三种不同的数据导出方式。
根据导出的地方不一样,将这些方式分为三种:
(1)、导出到本地文件系统;
(2)、导出到HDFS中;
(3)、导出到Hive的另一个表中。
为了避免单纯的文字,我将一步一步地用命令进行说明。
一、导出到本地文件系统
hive> insert overwrite local directory ...
分类:
其他好文 时间:
2014-10-29 19:24:32
阅读次数:
233
呼呼,解决hive的jdbc问题花了将近一天,而且解决办法竟然是这么的简单遇到问题select * from flag where 1 =1 and cust_no = 'A3325221981121080410' limit 5java.sql.SQLException: Error whil.....
分类:
数据库 时间:
2014-10-28 21:28:18
阅读次数:
413
hive> select * from part where name='123';Totaljobs = 1Launching Job 1 out of 1Number of reduce tasks is set to 0 since there's no reduce operatorStar...
分类:
其他好文 时间:
2014-10-28 21:26:30
阅读次数:
199
一、Impala简单介绍Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用同样的统一存储平台,Impala也使用同样的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。...
分类:
其他好文 时间:
2014-10-28 15:23:23
阅读次数:
467
su-hdfsPIEstimatorTesting:timehadoopjar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarpi10100TeraGen/TeraSort/TeraValidateTesting:1.timehadoopjar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarteragen..
分类:
其他好文 时间:
2014-10-28 10:29:47
阅读次数:
152
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法(Tree和Rule的配合),也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件,由于hiveContext继承自sqlContext,关键的概念和组件类似,只不过后者针对hive的特性做了一些修正和重写,所以本篇就只介绍sqlContext的关键的概念和组件。
概念:
Logi...
分类:
数据库 时间:
2014-10-27 12:53:06
阅读次数:
616
HIVE 0.11版本的bug
两次{{group by}}的bug
https://issues.apache.org/jira/browse/HIVE-5149
SELECT key, COUNT(*)
FROM (
SELECT key, value, COUNT( * )
FROM src
GROUP BY key, value
) a
GROUP BY key;...
分类:
其他好文 时间:
2014-10-26 22:54:36
阅读次数:
217
1、Eclipse 读取hdfs文件错误: java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724...
分类:
其他好文 时间:
2014-10-26 16:53:15
阅读次数:
178
1、小、大表 join
在小表和大表进行join时,将小表放在前边,效率会高,hive会将小表进行缓存。
2、mapjoin
使用mapjoin将小表放入内存,在map端和大表逐一匹配,从而省去reduce。
例子:
select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1
在0.7版本...
分类:
其他好文 时间:
2014-10-25 23:04:26
阅读次数:
315
使用asmcmd工具进行存储管理在RAC的服务器上,由于意外,需要删除一些存储空间的东东,释放空间,事后做了些笔记创建RAC的时候,已经建立了ASM实例,所以只需要配置ASMCMD工具就可以进行存储管理了第一步,配置环境变量①Oracle_home变量名:Oracle_home值:D:/Oracle...