第一课：通过案例对SparkStreaming透彻理解三板斧之一：解密SparkStreaming另类实验及SparkStreaming本质解析
本期导读：
1 Spark源码定制选择从SparkStreaming入手；2 Spark Streaming另类在线实验；3 瞬间理解SparkStreaming本质。
1. 从SparkStreaming入手开始S...
分类：
其他好文 时间：
2016-05-12 22:55:13
阅读次数：
147
本节课通过二个部分阐述SparkStreaming的理解：
一、解密SparkStreaming另类在线实验
二、瞬间理解SparkStreaming本质
Spark源码定制班主要是自己做发行版、自己动手改进Spark源码，通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务，如果Sprak官方版本没有你需要的业务功能，你自己可以定制、扩展Spark的功能，满足公司的业务...
分类：
其他好文 时间：
2016-05-12 18:15:11
阅读次数：
190
本节课通过二个部分阐述SparkStreaming的理解： 一、解密SparkStreaming另类在线实验 二、瞬间理解SparkStreaming本质 Spark源码定制班主要是自己做发行版、自己动手改进Spark源码，通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务，如果Sprak ...
分类：
其他好文 时间：
2016-05-07 14:48:37
阅读次数：
115
Spark支持很多输入和输入源，同时还支持内建RDD。Spark本身是基于Hadoop的生态圈，它可以通过
Hadoop MapReduce所使用的InpoutFormat和OutputFormat接口访问数据。而且大部分的文件格式和存储系统
（HDFS,Hbase，S3等）都支持这种接口。Spark常见的数据源如下：
（1） 文件格式和文件系统，也就是我们经常用的TXT，JSON,CSV等...
分类：
其他好文 时间：
2016-05-07 11:28:59
阅读次数：
492
java switch-case（对值）
scala不仅对值，而且可以对类型，集合（map，list元数据匹配），object，class
scala大量使用模式匹配（match case）Scala的模式匹配，与Java的switch case的区别：1.不仅可以匹配值，可以匹配类型2.可以匹配数组的集合
相同数组、长度相同的数组、以某个元素开头的数组
对于长度相同的数组，会进行自动变量赋...
分类：
其他好文 时间：
2016-05-06 14:58:07
阅读次数：
212
本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质 本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质 问：为什么从Spark Streaming来切入spark源码版本订制？ Spark ...
分类：
其他好文 时间：
2016-05-05 16:02:39
阅读次数：
399
1. 官网下载源码 source code，地址： http://spark.apache.org/downloads.html 2. 使用maven编译： 注意在编译之前，需要设置java堆大小以及永久代大小，避免mvn出现内存溢出的情况。 windows下设置：%MAVEN_HOME%\bin\ ...
Spark学习三：Spark Schedule以及idea的安装和导入源码标签（空格分隔）： SparkSpark学习三Spark Schedule以及idea的安装和导入源码
一RDD操作过程中的数据位置
二Spark Schedule
三Idea导入spark源码
一，RDD操作过程中的数据位置[hadoop001@xingyunfei001 spark-1.3.0-bin-2.5.0]$ bi...
分类：
其他好文 时间：
2016-05-01 01:12:33
阅读次数：
241
任务提交流程概述
在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了，本文继续分析整个Executor的启动与任务提交流程
Spark-submit提交一个任务到集群通过的是Spark-submit
通过启动脚本的方式启动它的主类，这里以WordCount为例子
`spark-submit –class cn.itcas...
分类：
其他好文 时间：
2016-04-22 20:58:09
阅读次数：
395
如果您对spark充满期待，情有独钟王老师额课程就是您的相见恨晚的夜空中最亮的星，以下是公开课程可以尽情感受如下是IMF课程简介今天早上王老师讲解了Spark源码大师之路0022讲：Executor启动注册全流程彻底剖析主要内容：1Executor解析2Executor注册全流程源码王家林的第一个中..
分类：
其他好文 时间：
2016-03-31 15:09:47
阅读次数：
365
