1 前言首先要配置好Hive，可以参见：http://www.cnblogs.com/liuchangchun/p/4761730.html2 hive配置找到beeswax标签，不叫hive，配置如下属性，其中端口号要和hive-site.xml中的保持一致hive-site.xml中配置thri...
分类：
其他好文 时间：
2015-08-27 18:25:57
阅读次数：
166
前面介绍了SparkSQL的运行过程，罗列了很多概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan，下面介绍一个工具hive/console，来加深对SparkSQL的运行计划的理解。 另外Spark是一个快速的内存计算框架，同时是一个并行运算的框架，在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。...
分类：
数据库 时间：
2015-08-27 11:06:02
阅读次数：
287
最近经常被问到这个问题，所以简单写一下总结。 Hive数据导入到HBase基本有2个方案： ? ? 1、HBase中建表，然后Hive中建一个外部表，这样当Hive中写入数据后，HBase中也会同时更新 ? ? 2、MapReduce读取Hive数...
分类：
其他好文 时间：
2015-08-27 00:51:04
阅读次数：
177
1 系统环境Ubuntu 14.10JDK-7Hadoop 2.6.02 安装步骤2.1 下载Hive我第一次安装的时候，下载的是Hive-1.2.1，配置好之后，总是报错[ERROR] Terminal initialization failed; falling back to unsuppor...
分类：
系统相关 时间：
2015-08-26 22:16:46
阅读次数：
290
报错：FAILED: Error in metadata: MetaException(message:Got exception: java.lang.reflect.UndeclaredThrowableException null) FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec...
分类：
其他好文 时间：
2015-08-26 20:36:28
阅读次数：
215
SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生。但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。...
分类：
数据库 时间：
2015-08-26 09:30:54
阅读次数：
416
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、SparkSQL的发展历程1.1Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运...
分类：
数据库 时间：
2015-08-26 09:26:23
阅读次数：
340
0.要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate自定义函数调用过程：1.添加jar包（在hive命令行里面执行）hive> add jar /root/NUDF.jar;2.创建临时函数hive> create temporary function...
分类：
其他好文 时间：
2015-08-25 19:13:55
阅读次数：
115
今天在使用 hive --service hiveserver 命令启动 hiveserver 时出错了，hive版本1.2.0 ，错误信息如下： -bash-4.1$ hive --service hiveserver -p 10002 & Starting Hive Thrift Server Exception in thread "m...
分类：
其他好文 时间：
2015-08-25 17:12:40
阅读次数：
458
