1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an...
分类：
数据库 时间：
2015-12-31 12:53:47
阅读次数：
970
SparkContext是用户程序和Spark交互的接口，它会负责连接到Spark集群，并且根据系统默认配置和用户设置来申请计算资源，完成RDD的创建等工作。
分类：
其他好文 时间：
2015-12-16 12:52:30
阅读次数：
143
RDD的saveAsTextFile方法会首先生成一个MapPartitionsRDD，该RDD通过雕工PairRDDFunctions的saveAsHadoopDataset方法向HDFS等输出RDD数据的内容，并在在最后调用SparkContext的runJob来真正的向Spark集群提交计算任务。
分类：
其他好文 时间：
2015-12-16 12:49:12
阅读次数：
126
package main.asiainfo.coc.sparksqlimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}case class Record(key: Int, v...
分类：
其他好文 时间：
2015-12-13 16:55:31
阅读次数：
92
IDEA开发WordCount（Spark）报错WordCount{
}
WordCount{
(args:Array[]){
hadoopAddr=conf=SparkConf().setAppName()
sc=SparkContext(conf)
mapRdd=sc.textFile(hadoopAddr)
result=mapRdd.flatMap(_.split()).map((_)).reduceByKey(_+_).collect()
}
}UsingSpark‘sdefault..
分类：
其他好文 时间：
2015-12-09 07:24:18
阅读次数：
232
packageorg.apache.spark.sql
importorg.apache.spark.{SparkConf,SparkContext}
objectSLA_parquetSQL{
defmain(args:Array[String]){
valsc=newSparkContext(newSparkConf().setAppName("SLAFilter"))
valsqlContext=newSQLContext(sc)
valsuffix=args(0)
sqlContext.parq..
分类：
数据库 时间：
2015-12-02 01:12:18
阅读次数：
154
原文链接：Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用 默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径...
分类：
其他好文 时间：
2015-11-28 18:01:31
阅读次数：
163
首先我们使用新的API方法连接mysql加载数据 创建DFimport org.apache.spark.sql.DataFrameimport org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveM...
分类：
数据库 时间：
2015-11-19 22:30:19
阅读次数：
341
import org.apache.spark._import SparkContext._import java.util.{Calendar,Properties,Date,Locale}import java.text.SimpleDateFormat import java.math.Big...
分类：
其他好文 时间：
2015-11-11 14:50:54
阅读次数：
349
概述 Spark Application在遇到action算子时，SparkContext会生成Job，并将构成DAG图将给DAG Scheduler解析成Stage。 Stage有两种： ShuffleMapStage 这种Stage是以Shuffle为输出边界 其输入边界可以是从外部获取数...
分类：
其他好文 时间：
2015-11-10 19:45:11
阅读次数：
492
