set hive.metastore.warehouse.dir=/user/myname/hive/warehouse;
用户设定自己的数据仓库目录。不影响其他用户。也在$HOME/.hiverc中设置,则每次启动hive自动加载
hive -(d,ef,H,h,i,p,S,v)
定义变量var,在hql中直接引用${var}
set (显示或修改)
...
分类:
其他好文 时间:
2015-04-30 10:35:49
阅读次数:
133
Hive-表连接 1)Hive只支持等值连接,即ON子句中使用等号连接,不支持非等值连接。2)如果连接语句中有WHERE子句,会先执行JOIN子句,再执行WHERE子句3)测试假设有以下测试数据表user数据如下User_idname1张三2李四3王五表job数据如下Job_idjobuser_id...
分类:
其他好文 时间:
2015-04-29 21:35:46
阅读次数:
163
1、hive Web接口的使用1)在source中打出hive-hwi-1.1.0.war包进入源码hwi/web执行打包 jar cvf hive-hwi-1.1.0.war ./*2)将hive-hwi-1.1.0.war拷贝到/home/Hadoop/hive/lib 目录下将/home/Ha...
分类:
其他好文 时间:
2015-04-29 21:06:55
阅读次数:
217
环境
系统: Ubuntu 15.04 32bit
Hadoop版本: hadoop-2.5.2.tar.gz
JDK版本: jdk-8u-45-linux-i586.tar.gz
Hive版本:apache-hive-0.14.0-bin.tar.gz
MySQL版本:Open-MySQL
STEP 1:安装JDK
1.配置安装JDK,将JDK解压,
tar...
分类:
系统相关 时间:
2015-04-29 17:12:20
阅读次数:
240
1.sqoop将hive中的数据导入到mysqlforexample:sqoopexport--connectjdbc:mysql://10.18.101.15:3306/wda--usernamerestdbuser--password123456--tableadl_trend_num_android--export-dir/apps/hive/warehouse/adldb.db/adl_trend_num_android/date_stamp=$date--input-fields-..
分类:
数据库 时间:
2015-04-29 07:24:35
阅读次数:
245
前言:Hive ql自己设计总结1,遇到复杂的查询情况,就分步处理。将一个复杂的逻辑,分成几个简单子步骤处理。
2,但能合在一起的,尽量和在一起的。比如同级别的多个concat函数合并一个select
也就是说,字段之间是并行的同级别处理,则放在一个hive ql;而字段间有前后处理逻辑依赖(判断、补值、计算)则可分步执行,提前将每个字段分别处理好,然后进行相应的分步简单逻辑处理。一、 场景:日志中...
分类:
其他好文 时间:
2015-04-28 18:25:17
阅读次数:
170
集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本、Excel、JSON、HTTP、Hadoop、mongodb等。
对于Hadoop,集算报表既可以直接访问Hive,也可以读取HDFS中的数据,完成数据计算和报表开发。Hive的访问和普通数据库一样使用JDBC就可以,这里不再赘述了。下面通过一个例子来看直接访问HDFS的过程。
报表说明
股票...
分类:
其他好文 时间:
2015-04-28 11:57:33
阅读次数:
217
零基础学习hadoop到上手工作线路指导初级篇:hive及mapreduce:http://www.aboutyun.com/thread-7567-1-1.htmlmapreduce学习目录总结MapReduce学习指导及疑难解惑汇总:http://www.aboutyun.com/t...
分类:
其他好文 时间:
2015-04-28 11:17:36
阅读次数:
142
网上有篇关于hive的partition的使用讲解的比较好,转载了:一、背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间...
分类:
其他好文 时间:
2015-04-27 21:32:50
阅读次数:
464