hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
由于最近项目的需求，仔细研究了下采用hive JDBC编码的方式来实现命令行模式执行hql语句的功能。期间遇到了不少问题，并一一进行了分析解决。但是时间匆忙，本人并未能将遇到的问题逐一记录在案。凭借零零稀稀的记忆希望将这些问题和经验进行总结以备后用。 项目中有个需求就是实现通过hql条件查询语句查....
分类：
数据库 时间：
2014-06-27 19:26:52
阅读次数：
275
using System; using System.Collections.Generic; using System.Web; using System.Web.UI; using System.Web.UI.WebControls; using PublicProject.ENTIT...
分类：
编程语言 时间：
2014-06-27 15:15:09
阅读次数：
277
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类 ；hive-hbase-handler.jar在hive的lib包中而不是在hbase的lib中，hive0.6版本以后；创建hive表的同时创建hb...
分类：
其他好文 时间：
2014-06-27 14:06:14
阅读次数：
288
string ls_excelpath,docnameinteger li_rtnli_rtn = GetFileOpenName("Select File", ls_excelpath, docname, "XLS", + "Text Files (*.XLS),*.XLS," + "Doc F....
分类：
其他好文 时间：
2014-06-26 23:53:24
阅读次数：
291
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
1、查看表结构信息
desc formatted table_name;
desc table_name;
查看关联文件：
desc extended f_tblog_online_mds;
2、查看分区
show partitions table_name;
3、根据分区查询，提高速度
select table_coulm from table_name whe...
分类：
其他好文 时间：
2014-06-26 08:09:25
阅读次数：
261
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
hive没有提供hive --version这种方式查看版本好，所以要找到hive所在目录，然后查看jar包的版本号，比如：# ls /usr/local/hive/lib/
antlr-2.7.7.jar datanucleus-core-2.0.3.jar hive-jdbc-0.10.0.jar jline-1.0.ja...
分类：
其他好文 时间：
2014-06-24 23:20:21
阅读次数：
377
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
