说明： spark --version : 2.2.0 我有两个json文件，分别是emp和dept： emp内容如下： dept内容如下： 现在我需要通过sparksql将两个文件加载进来并做join，最后将结果保存到本地 下面是操作步骤： 1、初始化配置 2、将两个json文件加载进来 3、分别 ...
分类：
数据库 时间：
2018-09-05 08:53:42
阅读次数：
587
一、通用的load和save操作 对于Spark SQL的DataFrame来说，无论是从什么数据源创建出来的DataFrame，都有一些共同的load和save操作。load操作主要用于加载数据，创建出DataFrame；save操作，主要用于将DataFrame中的数据保存到文件中。 Java版 ...
分类：
数据库 时间：
2018-08-23 20:10:12
阅读次数：
176
参考：http://spark.apache.org/docs/latest/sql-programming-guide.html 1）使用maven构建Scala工程。 1.1）新增pom依赖包文件如下： 1.2）新建Scala类，代码及功能描述如下： ...
分类：
数据库 时间：
2018-08-22 22:49:36
阅读次数：
266
一、Spark SQL的特点 1、支持多种数据源：Hive、RDD、Parquet、JSON、JDBC等。2、多种性能优化技术：in-memory columnar storage、byte-code generation、cost model动态评估等。3、组件扩展性：对于SQL的语法解析器、分析 ...
分类：
数据库 时间：
2018-08-22 18:23:03
阅读次数：
158
1.说明 虽然DStream可以转换成RDD，但是如果比较复杂，可以考虑使用SparkSQL。 2.集成方式 Streaming和Core整合： transform或者foreachRDD方法 Core和SQL整合： RDD <==> DataFrame 互换 3.程序 4.效果 ...
分类：
数据库 时间：
2018-08-16 22:28:07
阅读次数：
224
spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽 ...
分类：
数据库 时间：
2018-08-09 23:04:22
阅读次数：
286
一：SparkSQL中的函数 1.说明 2.展示所有的函数 qlContext.sql("show functions").show(300) 3.functions类 所有内置支持的函数。 主要用于DSL语言。 二：窗口分析函数 1.说明 hive中常用的一种分析函数。 2.在Spark中使用be ...
分类：
数据库 时间：
2018-07-29 00:14:35
阅读次数：
253
sparksql概述 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 相比于Spark RDD API，Spark SQL包含了对结构化数据和在其上运算的更多信息，Spark SQL使用这些信息进行了额外的优 ...
分类：
数据库 时间：
2018-07-26 15:12:40
阅读次数：
216
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在 ...
分类：
数据库 时间：
2018-07-14 00:53:49
阅读次数：
196
一、SparkSQL的进化之路 1.0以前： Shark 1.1.x开始： SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试版本 ...
分类：
数据库 时间：
2018-07-14 00:53:31
阅读次数：
345
