这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer(or HiveServer2)执行查询,而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情,平常我们通过Hive做简单的数据分析实验的时候,都是直接进入Hive执行HiveQL,那我们为什么还要在程序中执行呢?
这里涉及到了一个问题,...
分类:
编程语言 时间:
2014-06-15 16:23:19
阅读次数:
301
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能,适合实现Hive中没有的功能又不想写UDF的情况。例如,按日期统计每天出现的uid数,通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是,如果我想在reduce阶段对每天...
分类:
其他好文 时间:
2014-06-15 09:03:50
阅读次数:
243
安装mysql (1)执行命令rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令...
分类:
数据库 时间:
2014-06-14 12:13:32
阅读次数:
284
1、hive的安装 (1)解压缩、重命名、设置环境变量,参考hadoop1学习系列2 (2)在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template hive-site.xml重命名 在目录$HIVE_HOME/conf/下,执行命令mv hive-...
分类:
其他好文 时间:
2014-06-14 10:58:35
阅读次数:
227
创建表CREATE TABLE pokes (foo INT, bar
STRING);创建表并创建索引字段dsCREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY
(ds STRING);显示所有表SHOW TABLES;按正条件(正则...
分类:
其他好文 时间:
2014-06-11 23:10:11
阅读次数:
299
link:http://blog.csdn.net/uniquechao/article/details/26449761版本信息:
hadoop 2.3.0 hive 0.11.01. Application Master 无法访问 点击application mater 链接,出现
http ....
分类:
其他好文 时间:
2014-06-11 13:08:02
阅读次数:
385
----资源来自于官网教程
Simple Example Use Cases
MovieLens User Ratings
First, create a table with tab-delimited text file format:
CREATE TABLE u_data (
userid INT,
movieid INT,
rati...
分类:
其他好文 时间:
2014-06-11 06:32:36
阅读次数:
407
如果你指定了\n为sqoop导入的换行符,mysql的某个string字段的值如果包含了\n, 则会导致sqoop导入多出一行记录。有一个选项--hive-drop-import-delimsDrops \n, \r, and \01 from string fields when importing to Hive.这样\n \r 和\01都被自动删除,不会捣乱了。...
分类:
其他好文 时间:
2014-06-11 06:05:59
阅读次数:
310
写在前面一:本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。写在前面二:使用软件说明:约定所有软件的存放目录:/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0...
分类:
其他好文 时间:
2014-06-07 13:33:43
阅读次数:
274