1. hive内连接支持什么格式?? SQL中对两表内联可以写成: select * from dual a,dual b where a.key =b.key; 或者: SELECT t1.a1 as c1, t2.b1 as c2FROM t1,t2 WHERE t1.a2 = t2.b2?Hi...
分类:
数据库 时间:
2015-05-18 16:32:07
阅读次数:
160
一、? ???从文件系统导入 数据源存放路径: /root/data hive> load data local inpath "/root/data" overwrite intotable t1;?Loading data to table default.t1Table default.t1 stats: [numFiles=1, numR...
分类:
其他好文 时间:
2015-05-18 14:52:22
阅读次数:
143
启动hive报错:
[root@master conf]# hive
Logging initialized using configuration in file:/usr/local/hive/conf/hive-log4j.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found bin...
分类:
编程语言 时间:
2015-05-18 12:59:04
阅读次数:
265
大数据定义是:大量的非结构话的数据。量要大,要非结构化。Hadoop分三部分组成,1.hdfshadoop分布式文件系统。2.MapReduce分布式计算。3.hive分布式存储。操作系统:centos6.564环境搭建:1.安装Hadoop,2.安装mysql,3.安装hive,4,安装jdkHadoop安装:下载Hadoop1.0.4,had..
分类:
其他好文 时间:
2015-05-17 23:48:02
阅读次数:
521
要做一个通过调用python来实现对hive server2 的连接。在网上搜索了很多资料,有些说的hive sever的,但是由于认证方式发送了改变,行不通。最后,找到了权威的说明(PS: 还是应该先看官方材料):https://cwiki.apache.org/confluence/displa...
分类:
编程语言 时间:
2015-05-15 22:42:03
阅读次数:
266
查询的一些例子:1.queryhive> SELECT name,subordinates[0] FROM employees;John Doe Mary SmithMary Smith Bill KingTodd Jones NULL2.expressionhive> SELECT upper(n...
分类:
其他好文 时间:
2015-05-15 17:13:32
阅读次数:
111
查询的一些例子:1.queryhive>SELECTname,subordinates[0]FROMemployees;JohnDoeMarySmithMarySmithBillKingToddJonesNULL2.expressionhive>SELECTupper(name),salary,deductions["FederalTaxes"],round(salary*(1-deductions["FederalTaxes"]))FROMemployees;3.expressi..
分类:
其他好文 时间:
2015-05-15 15:47:01
阅读次数:
362
首先介绍一下Shark的概念
Shark简单的说就是Spark上的Hive,其底层依赖于Hive引擎的
但是在Spark平台上,Shark的解析速度是Hive的几多倍
它就是Hive在Spark上的体现,并且是升级版,一个强大的数据仓库,并且是兼容Hive语法的下面给出一张来自网上的Shark构架图从图上可以看出,Spark的最底层大部分还是基于HDFS的,Shark中的数据信息等也是对应着H...
分类:
数据库 时间:
2015-05-15 09:11:25
阅读次数:
314
1.当hive执行join内存溢出时,可以修改hive的配置文件hive-site.xml,增大内存,如下: mapred.child.java.opts -Xmx 1024m
2.hive默认建表时的路径也可以在hive-site.xml里配置,如下:
hive.metastore.warehouse.dir value >/user/hive/warehouse descriptio...
分类:
其他好文 时间:
2015-05-14 18:50:49
阅读次数:
177
转至http://my.oschina.net/repine/blog/296562order by,distribute by,sort by,cluster by 查询使用说明12345678910111213// 根据年份和气温对气象数据进行排序,以确保所有具有相同年份的行最终都在一个redu...
分类:
其他好文 时间:
2015-05-14 11:40:28
阅读次数:
123