hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
由于最近项目的需求，仔细研究了下采用hive JDBC编码的方式来实现命令行模式执行hql语句的功能。期间遇到了不少问题，并一一进行了分析解决。但是时间匆忙，本人并未能将遇到的问题逐一记录在案。凭借零零稀稀的记忆希望将这些问题和经验进行总结以备后用。 项目中有个需求就是实现通过hql条件查询语句查....
分类：
数据库 时间：
2014-06-27 19:26:52
阅读次数：
275
JDBC是Sun公司制定的一个能够用Java语言连接数据库的技术。一、JDBC基础知识 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，能够为多种关系数据库提供统一訪问，它由一组用Java语言编写的类和接...
分类：
数据库 时间：
2014-06-27 19:03:17
阅读次数：
434
2005-08-24 来源:CSDN 作者:wanchao2001 前言 在使用数据库的过程中，不可避免的须要使用到分页的功能，但是JDBC的规范对此却没有非常好的解...
分类：
Web程序 时间：
2014-06-26 18:56:31
阅读次数：
266
批量处理数据是指在一个事务中处理大量数据.在应用层进行批量操作, 主要有下面方式:通过 Session 通过 HQL 通过 StatelessSession通过 JDBC API（仅仅要会用这样的，其它作为了解）通过 Session 来进行批量操作Session 的 save() 及 update(...
分类：
系统相关 时间：
2014-06-26 15:40:22
阅读次数：
245
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
1、查看表结构信息
desc formatted table_name;
desc table_name;
查看关联文件：
desc extended f_tblog_online_mds;
2、查看分区
show partitions table_name;
3、根据分区查询，提高速度
select table_coulm from table_name whe...
分类：
其他好文 时间：
2014-06-26 08:09:25
阅读次数：
261
说来惭愧，MySQL一直处于只会用，不怎么理解的阶段。甚至是一些较为深层次的管理，都不怎么熟悉，得加强啊！近日，系统测试，使用MySQL数据库，需要在某个表上创建触发器，数据库是在本机安装。但是，无论如何都无法创建触发器，后台错误信息如下：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: TRIGGER command denie...
分类：
数据库 时间：
2014-06-26 07:11:40
阅读次数：
234
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
