问题：
spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, column 5. Encountered: "@" (64), after : "".环境：
spa...
分类：
数据库 时间：
2015-10-05 20:50:33
阅读次数：
430
map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行...
分类：
其他好文 时间：
2015-10-04 23:29:09
阅读次数：
1131
1、hive数据类型：基本数据类型：tinyint、smallint、int、bigint、float、double、boolean、string复合数据类型：array:一段有序字段，字段的类型必须相同map:一组无序的健/值对，健的类型必须是原子类型struct:一组命名的字段，类型可以不同复杂...
分类：
其他好文 时间：
2015-10-03 18:11:50
阅读次数：
202
Hive集成HBase可以有效利用HBase数据库的存储特性，如行更新和列索引等。在集成的过程中注意维持HBase jar包的一致性。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类。 整合hive....
分类：
其他好文 时间：
2015-09-30 16:03:21
阅读次数：
325
Hive是为简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用户编程接口。Hive本身不存储和计算数据，它完全依赖於HDFS和MapReduce，Hive中的表纯逻辑表，就是些表.....
分类：
其他好文 时间：
2015-09-30 09:45:37
阅读次数：
260
Hive体系结构: 是建立在hadoop之上的数据仓库基础架构. 和数据库相似,只不过数据库侧重于一些事务性的一些操作,比如修改,删除,查询,在数据库这块发生的比较多.数据仓库主要侧重于查询.对于相同的数据量在数据库中查询就比较慢一些,在数据仓库中查询的效率就比较快. 数据仓库是面...
分类：
数据库 时间：
2015-09-30 00:53:59
阅读次数：
324
EXTERNALkeyword它允许用户创建一个外部表。在表中的同时施工指定的路径中的实际数据（LOCATION）。Hive 创建内部表时。会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不正确数据的位置做不论什么改变。在删除表的时候，内部表的元数据和数据会被一起删除。而外部表...
分类：
其他好文 时间：
2015-09-29 21:59:28
阅读次数：
219
select TRANSFORM(*, *, *)using 'python filter.py'as (*, *, *)from t_1HIVE支持pipe操作，将select出来的字段，用我们的脚本进行“操作”1， 分隔符为 \t 并没有采用hive原有的分隔符 \x01 之类的。
分类：
其他好文 时间：
2015-09-28 16:08:31
阅读次数：
510
packageorg.conan.myhadoop.mr;
importjava.sql.Connection;
importjava.sql.DriverManager;
importjava.sql.ResultSet;
importjava.sql.SQLException;
importjava.sql.Statement;
publicclassHiveJDBCConnection{
privatestaticStringdriverName="org.apache.hadoop.hive.j..
分类：
数据库 时间：
2015-09-28 06:32:58
阅读次数：
253
前置条件说明 Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看...
分类：
其他好文 时间：
2015-09-25 14:47:26
阅读次数：
354
