在spark-default.conf文件中明明配置了mysql的数据源连接随后启动spark-shell 执行如下测试代码：import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.sql.{SaveMode,...
分类：
数据库 时间：
2015-10-26 12:11:11
阅读次数：
296
博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类：
其他好文 时间：
2015-10-25 01:01:27
阅读次数：
226
PLSA.py 1 # coding:utf8 2 from pyspark import SparkContext 3 from pyspark import RDD 4 import numpy as np 5 from numpy.random import RandomState ...
分类：
其他好文 时间：
2015-10-23 18:28:14
阅读次数：
382
今天在用Spark把Kafka的数据往ES写的时候，代码一直报错，错误信息如下：15/10/20 17:28:56 ERROR actor.OneForOneStrategy: org.apache.spark.SparkContextjava.io.NotSerializableException...
分类：
Web程序 时间：
2015-10-20 19:20:24
阅读次数：
382
需求SparkContext自定义扩展textFiles，支持从多个目录中输入文本文件扩展class SparkContext(pyspark.SparkContext): def __init__(self, master=None, appName=None, sparkHome=Non...
分类：
其他好文 时间：
2015-10-20 10:27:51
阅读次数：
365
前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{
def main(args: Array[String]) {
if (args.length == 0) {...
分类：
其他好文 时间：
2015-10-20 06:40:55
阅读次数：
197
示例Spark多个RDD（数据格式相同）“组合”为一个RDD代码from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("spark_app_union") sc = SparkContext(conf=co...
分类：
其他好文 时间：
2015-10-19 17:26:00
阅读次数：
142
Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的...
分类：
其他好文 时间：
2015-10-10 17:24:28
阅读次数：
226
Scheduler 模块中最重要的两个类是DAGScheduler 和 TaskScheduler。上篇讲了DAGScheduler，这篇讲TaskScheduler。TaskScheduler前面提到，在 SparkContext 初始化的过程中，根据 master 的类型分别创建不同的 Task...
分类：
其他好文 时间：
2015-10-04 20:51:24
阅读次数：
380
当触发一个RDD的action后，以count为例，调用关系如下：org.apache.spark.rdd.RDD#countorg.apache.spark.SparkContext#runJoborg.apache.spark.scheduler.DAGScheduler#runJoborg.a...
分类：
其他好文 时间：
2015-10-03 18:16:15
阅读次数：
209
