spark作为apache旗下顶级项目之一,在2015年火得一塌糊涂,在2016年更是势不可挡,下面两图可见一斑:
对于spark的学习,掌握其API的使用仅仅只是皮毛,我们要深入源码研究其本质,能够做到源码级别的修改和定制,才是真正掌握了它,也才能更好地使用它。从今天起,我们将踏上这一征程。
Spark的子框架有若干, 我们将从Spark Streaming着手切入Spark版本定制,通过对...
分类:
其他好文 时间:
2016-05-23 15:09:00
阅读次数:
188
本讲内容:
a. Spark Streaming Job 架构和运行机制
b. Spark Streaming Job 容错架构和运行机制
注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。
上节回顾:
上节课谈到Spark Streaming是基于DStream编程。DStream是逻辑级别的,而RDD是物理级别的。DStre...
分类:
其他好文 时间:
2016-05-13 15:11:20
阅读次数:
160
Spark Streaming
在线黑名单过滤...
分类:
其他好文 时间:
2016-05-13 04:13:31
阅读次数:
306
本篇博文将从以下几点组织文章:
1. 解密Spark Streaming运行机制
2. 解密Spark Streaming架构
一:解密Spark Streaming运行机制
1. DAG生成模板 :DStreamGrapha) Spark Streaming中不断的有数据流进来,他会把数据积攒起来,积攒的依据是以Batch Interval的方式进行积攒的,例如1秒钟,但是这1秒钟...
分类:
其他好文 时间:
2016-05-12 23:18:57
阅读次数:
231
感谢DT大数据梦工厂支持提供以下内容,
DT大数据梦工厂专注于Spark发行版定制。详细信息请查看
联系邮箱18610086859@126.com
电话:18610086859
QQ:1740415547
微信号:18610086859上节课通过降维的方式宏观整个spark streaming的运行的过程,spark-streaming其本质是构建在spark-core之上的一个应...
分类:
其他好文 时间:
2016-05-12 23:09:19
阅读次数:
120
第一课:通过案例对SparkStreaming透彻理解三板斧之一:解密SparkStreaming另类实验及SparkStreaming本质解析
本期导读:
1 Spark源码定制选择从SparkStreaming入手;2 Spark Streaming另类在线实验;3 瞬间理解SparkStreaming本质。
1. 从SparkStreaming入手开始S...
分类:
其他好文 时间:
2016-05-12 22:55:13
阅读次数:
147
感谢DT大数据梦工厂支持提供以下内容,DT大数据梦工厂专注于Spark发行版定制。详细信息请查看
联系邮箱18610086859@126.com
电话:18610086859
QQ:1740415547
微信号:18610086859一 为什么从Spark Streaming入手?Spark目前有四个Spark SQL, Spark Streaming, MLlib(machine...
分类:
其他好文 时间:
2016-05-12 22:54:46
阅读次数:
179
本节课通过二个部分阐述SparkStreaming的理解:
一、解密SparkStreaming另类在线实验
二、瞬间理解SparkStreaming本质
Spark源码定制班主要是自己做发行版、自己动手改进Spark源码,通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务,如果Sprak官方版本没有你需要的业务功能,你自己可以定制、扩展Spark的功能,满足公司的业务...
分类:
其他好文 时间:
2016-05-12 18:15:11
阅读次数:
190
本节课主要从以下二个方面来解密SparkStreaming:
一、解密SparkStreaming运行机制
二、解密SparkStreaming架构
SparkStreaming运行时更像SparkCore上的应用程序,SparkStreaming程序启动后会启动很多job,每个batchIntval、windowByKey的job、框架运行启动的job。例如,Receiver启...
分类:
其他好文 时间:
2016-05-12 12:39:01
阅读次数:
159