sparkContext创建还没完呢，紧接着前两天，我们继续探索。。作死。。。 紧接着前几天我们继续SparkContext的创建： 接下来从这里我们可以看到，spark开始加载hadoop的配置信息，第二张图中 new出来的Configuration正是hadoop的Configuration。同 ...
分类：
其他好文 时间：
2016-11-22 23:12:44
阅读次数：
229
http://blog.csdn.net/pipisorry/article/details/52366356Spark编程模型SparkContext类和SparkConf类我们可通过如下方式调用 ...
分类：
其他好文 时间：
2016-11-21 11:22:19
阅读次数：
321
即日起开始spark源码阅读之旅，这个过程是相当痛苦的，也许有大量的看不懂，但是每天一个方法，一点点看，相信总归会有极大地提高的。那么下面开始： 创建sparkConf对象，那么究竟它干了什么了类,从代码层面，我们可以看到我们需要setMaster啊，setAppName啊，set blabla啊。 ...
分类：
其他好文 时间：
2016-11-20 19:11:22
阅读次数：
3361
SparkContext的构造函数中，最重要的入参是SparkConf 根据初始化入参生成SparkConf 再根据SparkConf来创建SparkEnv TaskScheduler.start的目的，是启动相应的SchedulerBackend，并启动定时器进行检测。 总结 ...
分类：
其他好文 时间：
2016-09-25 13:08:53
阅读次数：
151
我的Spark源码核心SparkContext走读全纪录DirverProgram(SparkConf)packageorg.apache.spark.SparkConfMasterpackageorg.apache.spark.deploy.masterSparkContextpackageorg.apache.spark.SparkContextStagepackageorg.apache.spark.scheduler.StageTaskpackageorg.apache.spar..
分类：
其他好文 时间：
2016-09-23 21:42:39
阅读次数：
100
scala代码如下：
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
/**
* 统计字符出现次数
*/
object WordCount {
def main(args: Array[String]) {
...
分类：
编程语言 时间：
2016-08-22 16:16:50
阅读次数：
367
SparkContext的初始化是Driver应用程序提交执行的前提，Spark Driver用于提交用户的应用程序，可以看做是Spark的客户端，了解Spark Driver的初始化，有助于理解用户应用程序在客户端的处理过程 SparkContext的初始化参数由SparkConf负责，Spark ...
分类：
其他好文 时间：
2016-08-21 12:16:42
阅读次数：
516
package com.yl.wordcountimport java.io.Fileimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.Iteratorimport scala.io.Source/** ...
分类：
其他好文 时间：
2016-08-03 00:05:29
阅读次数：
1383
package com.gosun.spark1;import java.util.ArrayList;import java.util.List;import java.util.Properties;import org.apache.spark.SparkConf;import org.apa ...
分类：
数据库 时间：
2016-07-28 14:59:42
阅读次数：
307
AttributeError: 'SparkConf' object has no attribute '_get_object_id' 初始化SparkContext时出现这种错误是因为把SparkConf对象放在了参数第一个的位置，由于pyspark命令行会默认创建一个SparkContext, ...
分类：
其他好文 时间：
2016-07-20 22:38:10
阅读次数：
355
