hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
由于最近项目的需求，仔细研究了下采用hive JDBC编码的方式来实现命令行模式执行hql语句的功能。期间遇到了不少问题，并一一进行了分析解决。但是时间匆忙，本人并未能将遇到的问题逐一记录在案。凭借零零稀稀的记忆希望将这些问题和经验进行总结以备后用。 项目中有个需求就是实现通过hql条件查询语句查....
分类：
数据库 时间：
2014-06-27 19:26:52
阅读次数：
275
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类 ；hive-hbase-handler.jar在hive的lib包中而不是在hbase的lib中，hive0.6版本以后；创建hive表的同时创建hb...
分类：
其他好文 时间：
2014-06-27 14:06:14
阅读次数：
288
关于Hook一、基本概念： 钩子(Hook)，是Windows消息处理机制的一个平台,应用程序能够在上面设置子程以监视指定窗体的某种消息，并且所监视的窗体能够是其它进程所创建的。当消息到达后，在目标窗体处理函数之前处理它。钩子机制同意应用程序截获处理window消息或特定事件。 钩子实际上是一个处....
分类：
其他好文 时间：
2014-06-26 15:53:53
阅读次数：
206
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
1、查看表结构信息
desc formatted table_name;
desc table_name;
查看关联文件：
desc extended f_tblog_online_mds;
2、查看分区
show partitions table_name;
3、根据分区查询，提高速度
select table_coulm from table_name whe...
分类：
其他好文 时间：
2014-06-26 08:09:25
阅读次数：
261
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
hive没有提供hive --version这种方式查看版本好，所以要找到hive所在目录，然后查看jar包的版本号，比如：# ls /usr/local/hive/lib/
antlr-2.7.7.jar datanucleus-core-2.0.3.jar hive-jdbc-0.10.0.jar jline-1.0.ja...
分类：
其他好文 时间：
2014-06-24 23:20:21
阅读次数：
377
