直接代码吧：记得要开启hive jdbc服务hive --service hiveserverpackage hive;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import ...
分类：
数据库 时间：
2014-07-28 15:08:33
阅读次数：
283
-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解...
分类：
其他好文 时间：
2014-07-28 15:06:33
阅读次数：
210
1、列裁剪select a,b from t where e < 10;设置参数：hive.optimize.cp = true2、分区裁剪select * from (select c1,count(1) from t group by c1) subqwhere subq.prtn = 100;...
分类：
其他好文 时间：
2014-07-28 15:04:23
阅读次数：
199
Spark SQL Catalyst的核心类库TreeNode详解，配有实例，图文并茂。...
分类：
数据库 时间：
2014-07-24 23:37:23
阅读次数：
895
Hive 命令行
Hive 命令行示例
?从命令行执行指定的sql语句
?$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'
?以指定的hive环境变量执行指定的sql语句
?$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scr...
分类：
其他好文 时间：
2014-07-24 23:11:14
阅读次数：
256
问： ????今天花一天时间给centos6.3 64bit的系统搭建了hadoop，顺便把hive和mysql也装上了，测试什么的都没问题。 但是，迷茫了，我怎么用它分析网站的日志。他的工作原理迷迷糊糊的， 而且我这个hadoop用的...
分类：
其他好文 时间：
2014-07-23 21:35:46
阅读次数：
332
1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
hive是什么？ 白话一点再加不严格一点，hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。 于是，hbase是什么？ 同样白话一点加不严格一点，hbase可以认为是...
分类：
其他好文 时间：
2014-07-23 13:57:36
阅读次数：
268
我用的是cdh4.5版本：配置文件：$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类：
其他好文 时间：
2014-07-22 22:35:55
阅读次数：
204
最近在优化hiveSQL，
下面是一段排序，分组后取每组第一行记录的SQL
INSERT OVERWRITE TABLE t_wa_funnel_distinct_temp PARTITION (pt='${SRCTIME}')
SELECT
bussiness_id,
cookie_id,
session_id,
funnel_...
分类：
数据库 时间：
2014-07-22 17:42:31
阅读次数：
344
