内容：1、Spark天堂之门；2、SparkContext使用案例鉴赏；3、SparkContext内幕；4、SparkContext源码解密；SparkContext是编写任意Spark程序的第一个对象，用SparkConf为传入的参数==========Spark天堂之门：SparkContext！！！============1、Spark程序在运行的时候分为Driver..
分类：
其他好文 时间：
2016-02-21 06:48:27
阅读次数：
1031
此文旨在对spark storage模块进行分析，整理自己所看所得，等以后再整理。 ok，首先看看SparkContext中sparkEnv相关代码： 1 private[spark] def createSparkEnv( 2 conf: SparkConf, 3 isLocal: Boolean
分类：
其他好文 时间：
2016-02-16 11:35:33
阅读次数：
211
实现spark streaming demo时，代码： 1 public static void main (String[] args) { 2 3 4 SparkConf conf = new SparkConf().setAppName("Spark_Streaming").setMaster
分类：
其他好文 时间：
2016-02-02 17:53:56
阅读次数：
173
话不多说。直接上代码咯。欢迎交流。/** * Created by whuscalaman on 1/7/16. */import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.mllib.classifica.....
分类：
其他好文 时间：
2016-01-09 17:04:14
阅读次数：
216
1 package cn.spark.study.core; 2 3 import java.util.Arrays; 4 5 import org.apache.spark.SparkConf; 6 import org.apache.spark.api.java.JavaPairRDD; ...
分类：
编程语言 时间：
2016-01-07 13:12:49
阅读次数：
231
1 package cn.spark.study.core; 2 3 import java.util.Arrays; 4 5 import org.apache.spark.SparkConf; 6 import org.apache.spark.api.java.JavaPai...
分类：
其他好文 时间：
2016-01-06 23:48:37
阅读次数：
435
package main.asiainfo.coc.sparksqlimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}case class Record(key: Int, v...
分类：
其他好文 时间：
2015-12-13 16:55:31
阅读次数：
92
IDEA开发WordCount（Spark）报错WordCount{
}
WordCount{
(args:Array[]){
hadoopAddr=conf=SparkConf().setAppName()
sc=SparkContext(conf)
mapRdd=sc.textFile(hadoopAddr)
result=mapRdd.flatMap(_.split()).map((_)).reduceByKey(_+_).collect()
}
}UsingSpark‘sdefault..
分类：
其他好文 时间：
2015-12-09 07:24:18
阅读次数：
232
1、spark sql可以直接加载avro文件，之后再进行一系列的操作，示例： 1 SparkConf sparkConf = new SparkConf().setAppName("Spark job"); 2 JavaSparkContext javaSpar...
分类：
数据库 时间：
2015-12-03 13:16:40
阅读次数：
158
def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppName("cocapp").set("spark.kryo.registrator", classOf[HBas...
分类：
其他好文 时间：
2015-12-02 22:21:57
阅读次数：
205
