packageorg.apache.spark.sql
importorg.apache.spark.{SparkConf,SparkContext}
objectSLA_parquetSQL{
defmain(args:Array[String]){
valsc=newSparkContext(newSparkConf().setAppName("SLAFilter"))
valsqlContext=newSQLContext(sc)
valsuffix=args(0)
sqlContext.parq..
分类：
数据库 时间：
2015-12-02 01:12:18
阅读次数：
154
主要内容
Spark SQL、DataFrame与Spark Streaming
1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetworkW...
分类：
数据库 时间：
2015-11-29 19:41:25
阅读次数：
243
代码如下：import org.apache.spark.sql.Row;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS...
分类：
Web程序 时间：
2015-11-28 19:52:52
阅读次数：
296
首先我们使用新的API方法连接mysql加载数据 创建DFimport org.apache.spark.sql.DataFrameimport org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveM...
分类：
数据库 时间：
2015-11-19 22:30:19
阅读次数：
341
Table of Contents1. spark sql2. SQLContext2.1. sql context是spark sql的所有功能入口点2.2. 通过spark context创建sql context2.3. hive context功能上多于sql context，未来sql context也会增加功能3. DataFrames3.1. 功能3.2. 创建DataFrames3...
分类：
数据库 时间：
2015-11-12 11:56:23
阅读次数：
411
使用Spark SQL的基础是“注册”（Register）若干表，表的一个重要组成部分就是模式，Spark SQL提供两种选项供用户选择：（1）applySchemaapplySchema的方式需要用户编码显示指定模式，优点：数据类型明确，缺点：多表时有一定的代码工作量。（2）inferSchema...
分类：
数据库 时间：
2015-11-03 19:38:10
阅读次数：
297
相对于使用MapReduce或者Spark Application的方式进行数据分析，使用Hive SQL或Spark SQL能为我们省去不少的代码工作量，而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具，当这些内置的UDF不能满足于我们的需要时，Hi...
分类：
数据库 时间：
2015-11-02 20:49:04
阅读次数：
368
Spark SQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。如果“表”来自于Hive，它的模式（列名、列类型等）在创建时已经确定，一般情况下我们直接通过Spark SQL分析表中的数据即可；如果“表”来自“临时表”，我们就需要考虑两个问题：（1）“临时表”的数...
分类：
数据库 时间：
2015-10-30 18:20:21
阅读次数：
378
在spark-default.conf文件中明明配置了mysql的数据源连接随后启动spark-shell 执行如下测试代码：import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.sql.{SaveMode,...
分类：
数据库 时间：
2015-10-26 12:11:11
阅读次数：
296
示例Spark SQL注册“临时表”执行“Join”（Inner Join、Left Outer Join、Right Outer Join、Full Outer Join）代码from pyspark import SparkConf, SparkContextfrom pyspark.sql i...
分类：
数据库 时间：
2015-10-19 17:20:03
阅读次数：
308
