packageorg.apache.spark.sql
importorg.apache.spark.{SparkConf,SparkContext}
objectSLA_parquetSQL{
defmain(args:Array[String]){
valsc=newSparkContext(newSparkConf().setAppName("SLAFilter"))
valsqlContext=newSQLContext(sc)
valsuffix=args(0)
sqlContext.parq..
分类：
数据库 时间：
2015-12-02 01:12:18
阅读次数：
154
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.ja...
分类：
其他好文 时间：
2015-11-30 20:27:25
阅读次数：
219
代码如下：import org.apache.spark.sql.Row;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS...
分类：
Web程序 时间：
2015-11-28 19:52:52
阅读次数：
296
首先我们使用新的API方法连接mysql加载数据 创建DFimport org.apache.spark.sql.DataFrameimport org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveM...
分类：
数据库 时间：
2015-11-19 22:30:19
阅读次数：
341
在spark-default.conf文件中明明配置了mysql的数据源连接随后启动spark-shell 执行如下测试代码：import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.sql.{SaveMode,...
分类：
数据库 时间：
2015-10-26 12:11:11
阅读次数：
296
博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类：
其他好文 时间：
2015-10-25 01:01:27
阅读次数：
226
前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{
def main(args: Array[String]) {
if (args.length == 0) {...
分类：
其他好文 时间：
2015-10-20 06:40:55
阅读次数：
197
示例Spark多个RDD（数据格式相同）“组合”为一个RDD代码from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("spark_app_union") sc = SparkContext(conf=co...
分类：
其他好文 时间：
2015-10-19 17:26:00
阅读次数：
142
示例Spark SQL注册“临时表”执行“Join”（Inner Join、Left Outer Join、Right Outer Join、Full Outer Join）代码from pyspark import SparkConf, SparkContextfrom pyspark.sql i...
分类：
数据库 时间：
2015-10-19 17:20:03
阅读次数：
308
Spark Streaming初试 yum install nc.x86_64 ./bin/spark-shell --total-executor-cores 34? 敲入下面程序： import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext...
分类：
其他好文 时间：
2015-09-01 20:07:57
阅读次数：
280
