转自http://shiyanjun.cn/archives/588.htmlHive是基于Hadoop平台的,它提供了类似SQL一样的查询语言HQL。有了Hive,如果使用过SQL语言,并且不理解Hadoop MapReduce运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定...
分类:
其他好文 时间:
2015-07-18 00:25:26
阅读次数:
232
[Author]: kwu --- 【解决】hive与hbase表结合级联查询的问题,hive两个表以上,关联查询时出现长时无法返回的情况。同时也不出现,mr的进度百分比...
分类:
其他好文 时间:
2015-07-17 19:04:12
阅读次数:
155
这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输HDFSDataNode50075dfs.datanode.htt...
分类:
其他好文 时间:
2015-07-17 18:09:16
阅读次数:
282
Hadoop核心 ? ? ? ? Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如 HBase、Hive等,这些都是基于HDFS和MapReduce发展出来的。要想了...
分类:
其他好文 时间:
2015-07-16 22:45:57
阅读次数:
398
转自:http://www.aboutyun.com/thread-7316-1-1.html一、关系运算:1. 等值比较: =语法:A=B操作类型:所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE举例:hive>select 1 from lxw_dual where...
分类:
数据库 时间:
2015-07-16 13:59:30
阅读次数:
3644
转自:http://www.aboutyun.com/thread-7327-1-1.html1、Hive不支持等值连接 SQL中对两表内联可以写成:select * from dual a,dual b where a.key = b.key;Hive中应为:select * from dua.....
分类:
数据库 时间:
2015-07-16 13:33:00
阅读次数:
248
启动hive时报如下错误:/tmp/hive on HDFS should be writable. Current permissions are: rwx--x--x
这是/tmp/hive目录权限不够,需要提升权限
操作如下命令即可解决问题:
hadoop fs -chmod -R 777 /tmp...
分类:
其他好文 时间:
2015-07-15 22:57:27
阅读次数:
649
分区表在Hive Select查询中,一般会扫描整个表内容,会消耗很多时间做没必要的工作。
分区表指的是在创建表时,指定partition的分区空间。分区语法
create table tablename
name string
)
partitioned by(key type,…)
create table if not exists employees(
name st...
分类:
其他好文 时间:
2015-07-15 19:17:13
阅读次数:
170
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/Hive 最为核心的部分之一,是每个 Hadoop/Hiv...
分类:
其他好文 时间:
2015-07-15 15:02:19
阅读次数:
192
看hive目录下就可以了,程序在hdfs里创建一个hive的大文件夹,相当于数据库吧。上面就是一个完整的利用hive来做单词统计,其中的优劣也能看出一点。
分类:
其他好文 时间:
2015-07-15 11:03:53
阅读次数:
154