1.in 不支持子查询 eg. select * from src where key in(select key from test); 支持查询个数 eg. select * from src where key in(1,2,3,4,5); in 40000个 耗时25.766秒 ...
分类：
数据库 时间：
2015-10-10 17:09:11
阅读次数：
1677
前置条件说明 Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看...
分类：
其他好文 时间：
2015-09-25 14:47:26
阅读次数：
354
hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property>
??<name>hive.metastore.uris</name>
??<value>thrift://master:9083</value>
??<description>Thrift?uri?for?the?remote?met...
分类：
数据库 时间：
2015-09-22 16:51:01
阅读次数：
231
1.编译环境 CentOS6.6 ?JDK1.7.0_80 ?Maven3.2.5 2.下载Spark源代码并解压 [yyl@vmnode ~]$ pwd
/home/yyl
[yyl@vmnode make]$ pwd
/home/yyl/make
[yyl@vmnode make]$ wget http://mirrors.cnnic.cn/apache/s...
分类：
其他好文 时间：
2015-09-13 16:05:51
阅读次数：
252
SparkSQL引入了一种新的RDD——SchemaRDD，SchemaRDD由行对象（Row）以及描述行对象中每列数据类型的Schema组成；SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外，还可以通过registerTempTable注册成临时表，然后通过SQL语...
分类：
数据库 时间：
2015-08-31 10:08:08
阅读次数：
377
前面介绍了SparkSQL的运行过程，罗列了很多概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan，下面介绍一个工具hive/console，来加深对SparkSQL的运行计划的理解。 另外Spark是一个快速的内存计算框架，同时是一个并行运算的框架，在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。...
分类：
数据库 时间：
2015-08-27 11:06:02
阅读次数：
287
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1.1 运行环境说明1.1.1硬软件环境l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存l 虚拟软件：VMware® Workstation 9.0.0 build-81238...
分类：
数据库 时间：
2015-08-27 08:15:14
阅读次数：
471
SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生。但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。...
分类：
数据库 时间：
2015-08-26 09:30:54
阅读次数：
416
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、SparkSQL的发展历程1.1Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运...
分类：
数据库 时间：
2015-08-26 09:26:23
阅读次数：
340
1.在IDEA上建立一个sparksql_mysql的scala对象。2.连接mysql的代码如下import java.sql.{DriverManager, PreparedStatement, Connection}import org.apache.spark.rdd.JdbcRDDimpo...
分类：
数据库 时间：
2015-08-19 10:46:20
阅读次数：
207
