String sql="select * from t_pub_uid limit 10"; List command = new ArrayList(); command.add("hive"); command.add("-e"); ...
分类：
数据库 时间：
2015-08-25 13:44:21
阅读次数：
321
hive数据操作
hive命令行操作
hive -d --define 定义一个key-value可以在命令行中使用
hive -d database 指定使用的数据库
hive -e “hql” 不需要进入cli执行hql语句，可以在脚本中使用
hive -f fileName 将hql放到一个file文件中执行，sql语句来自file文件
hive -h hos...
分类：
其他好文 时间：
2015-08-21 21:34:01
阅读次数：
166
hive表结构如下：
create table pv_user_info(
session_id string,
user_id string,
url string,
starttime bigint
);
主要就是这几个字段有用，省略其他。
实现方式：userid和sessionid分组后并按时间降序排序，降序排序后，第一行就是该用户最后一次浏览的网页。最后一行是第一次...
分类：
Web程序 时间：
2015-08-21 15:38:04
阅读次数：
213
从一个表里group by 之后 计算累加值、去重值:为了效率设置并行：set hive.exec.parallel=true（可选：set hive.exec.parallel.thread.number=16）、set hive.groupby.skewindata=true、set hive....
分类：
其他好文 时间：
2015-08-20 20:38:09
阅读次数：
171
1.unix时间戳转时间函数 ? 1 2 3 4 5 6 7 8 9 10 语法: from_unixtime(bigintunixtime[, string format]) 返回值: string ? 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间...
分类：
其他好文 时间：
2015-08-20 19:15:33
阅读次数：
1923
[Author]: kwu --- 创建hive整合hbase的表总结，如下两种方式：...
分类：
其他好文 时间：
2015-08-20 13:10:41
阅读次数：
109
Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口。...
分类：
其他好文 时间：
2015-08-20 10:41:59
阅读次数：
154
一，什么是zookeeper？
ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Pa...
分类：
其他好文 时间：
2015-08-20 09:13:06
阅读次数：
112
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、Hive介绍1.1Hive介绍Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语...
分类：
其他好文 时间：
2015-08-20 09:10:11
阅读次数：
134
CONDITIONAL FUNCTIONS IN HIVE Hive supports three types of conditional functions. These functions are listed below: IF( Test Condition, True Value, False Value )? The IF condition evaluates the “...
分类：
其他好文 时间：
2015-08-19 21:27:57
阅读次数：
9510
