码迷,mamicode.com
首页 >  
搜索关键字:sparkstreaming透彻理解    ( 32个结果
第1课:通过案例对SparkStreaming 透彻理解三板斧之一
spark作为apache旗下顶级项目之一,在2015年火得一塌糊涂,在2016年更是势不可挡,下面两图可见一斑: 对于spark的学习,掌握其API的使用仅仅只是皮毛,我们要深入源码研究其本质,能够做到源码级别的修改和定制,才是真正掌握了它,也才能更好地使用它。从今天起,我们将踏上这一征程。 Spark的子框架有若干, 我们将从Spark Streaming着手切入Spark版本定制,通过对...
分类:其他好文   时间:2016-05-23 15:09:00    阅读次数:188
Spark版本定制版3-通过案例对SparkStreaming透彻理解三板斧之三
本讲内容: a. Spark Streaming Job 架构和运行机制  b. Spark Streaming Job 容错架构和运行机制 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。 上节回顾: 上节课谈到Spark Streaming是基于DStream编程。DStream是逻辑级别的,而RDD是物理级别的。DStre...
分类:其他好文   时间:2016-05-13 15:11:20    阅读次数:160
第1课:通过案例对SparkStreaming 透彻理解三板斧之一
Spark Streaming 在线黑名单过滤...
分类:其他好文   时间:2016-05-13 04:13:31    阅读次数:306
第3课:通过案例对SparkStreaming 透彻理解三板斧之三:解密SparkStreaming运行机制和架构进阶
SparkStreaming...
分类:其他好文   时间:2016-05-13 03:12:51    阅读次数:96
第2课:通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming运行机制和架构
本篇博文将从以下几点组织文章: 1. 解密Spark Streaming运行机制 2. 解密Spark Streaming架构 一:解密Spark Streaming运行机制 1. DAG生成模板 :DStreamGrapha) Spark Streaming中不断的有数据流进来,他会把数据积攒起来,积攒的依据是以Batch Interval的方式进行积攒的,例如1秒钟,但是这1秒钟...
分类:其他好文   时间:2016-05-12 23:18:57    阅读次数:231
第2课:通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming
感谢DT大数据梦工厂支持提供以下内容, DT大数据梦工厂专注于Spark发行版定制。详细信息请查看 联系邮箱18610086859@126.com 电话:18610086859 QQ:1740415547 微信号:18610086859上节课通过降维的方式宏观整个spark streaming的运行的过程,spark-streaming其本质是构建在spark-core之上的一个应...
分类:其他好文   时间:2016-05-12 23:09:19    阅读次数:120
Spark源码定制第一课:通过案例对SparkStreaming透彻理解三板斧之一
第一课:通过案例对SparkStreaming透彻理解三板斧之一:解密SparkStreaming另类实验及SparkStreaming本质解析   本期导读: 1 Spark源码定制选择从SparkStreaming入手;2 Spark Streaming另类在线实验;3 瞬间理解SparkStreaming本质。   1.    从SparkStreaming入手开始S...
分类:其他好文   时间:2016-05-12 22:55:13    阅读次数:147
第1课:通过案例对SparkStreaming 透彻理解三板斧之一
感谢DT大数据梦工厂支持提供以下内容,DT大数据梦工厂专注于Spark发行版定制。详细信息请查看  联系邮箱18610086859@126.com  电话:18610086859  QQ:1740415547  微信号:18610086859一 为什么从Spark Streaming入手?Spark目前有四个Spark SQL, Spark Streaming, MLlib(machine...
分类:其他好文   时间:2016-05-12 22:54:46    阅读次数:179
Spark定制版1:通过案例对SparkStreaming透彻理解三板斧之一
本节课通过二个部分阐述SparkStreaming的理解: 一、解密SparkStreaming另类在线实验 二、瞬间理解SparkStreaming本质 Spark源码定制班主要是自己做发行版、自己动手改进Spark源码,通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务,如果Sprak官方版本没有你需要的业务功能,你自己可以定制、扩展Spark的功能,满足公司的业务...
分类:其他好文   时间:2016-05-12 18:15:11    阅读次数:190
Spark定制版2:通过案例对SparkStreaming透彻理解三板斧之二
本节课主要从以下二个方面来解密SparkStreaming: 一、解密SparkStreaming运行机制 二、解密SparkStreaming架构 SparkStreaming运行时更像SparkCore上的应用程序,SparkStreaming程序启动后会启动很多job,每个batchIntval、windowByKey的job、框架运行启动的job。例如,Receiver启...
分类:其他好文   时间:2016-05-12 12:39:01    阅读次数:159
32条   1 2 3 4 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!