本节的主要内容： 一、ReceivedBlockTracker容错安全性 二、DStreamGraph和JobGenerator容错安全性 从数据层面，ReceivedBlockTracker为整个Spark Streaming应用程序记录元数据信息。 从调度层面，DStreamGraph和JobG ...
分类：
其他好文 时间：
2016-05-22 19:54:52
阅读次数：
199
本期内容：1、数据接收架构设计模式2、数据接收源码彻底研究1、Receiver接受数据的过程类似于MVC模式：Receiver，ReceiverSupervisor和Driver的关系相当于Model，Control，View，也就是MVC。Model就是Receiver，存储数据Control，就是ReceiverSupervisor，Driver是获得元数据，..
分类：
其他好文 时间：
2016-05-22 18:41:58
阅读次数：
250
本节的主要内容： 一、数据接受架构和设计模式 二、接受数据的源码解读 Spark Streaming不断持续的接收数据，具有Receiver的Spark 应用程序的考虑。 Receiver和Driver在不同进程，Receiver接收数据后要不断给Deriver汇报。 因为Driver负责调度，Re ...
分类：
其他好文 时间：
2016-05-22 18:16:36
阅读次数：
221
本节的主要内容： 一、Receiver启动的方式设想 二、Receiver启动源码彻底分析 Receiver的设计是非常巧妙和出色的，非常值得我们去学习、研究、借鉴。 在深入认识Receiver之前，我们有必要思考一下，如果没有Spark、Spark Streaming，我们怎么实现Reciver？ ...
分类：
其他好文 时间：
2016-05-22 16:44:24
阅读次数：
266
本期内容： 1，JobScheduler内幕实现 2，JobScheduler深度思考 摘要：JobScheduler是Spark Streaming整个调度的核心，其地位相当于Spark Core上的调度中心中的DAGScheduler！ 一、JobScheduler内幕实现 问：JobSched ...
分类：
其他好文 时间：
2016-05-22 08:30:19
阅读次数：
623
本期内容：1、Receiver启动方式的设想2、Receiver启动源码彻底分析一：Receiver启动方式的设想1.SparkStreaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个BatchDurations就可以根据汇报的数据生成不同的Job。2.Receiver是在SparkStreaming..
分类：
其他好文 时间：
2016-05-22 00:48:17
阅读次数：
272
EventBus是我们在项目当中最常用的开源框架之一。对于EventBus的使用方法也是非常的简单。然而EventBus内部的实现原理也不是很复杂。在这里便针对EventBus3.0的源码进行一下详细的分析。对于EventBus的详细使用可以参考EventBus3.0使用详解这篇文章。...
分类：
其他好文 时间：
2016-05-21 19:09:30
阅读次数：
397
__has_include 此宏传入一个你想引入文件的名称作为参数，如果该文件能够被引入则返回1，否则返回0。 拓展： #include / #import 语句有两种方式包含头文件，分别是使用双引号" "与左右尖括号< >。其区别是（对于不是使用完全文件路径名的）头文件的搜索顺序不同 使用双引号" ...
分类：
其他好文 时间：
2016-05-21 17:19:32
阅读次数：
119
一：Receiver启动的方式设想
1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。
2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。...
分类：
其他好文 时间：
2016-05-20 19:40:41
阅读次数：
241
本期内容：1、JobScheduler内幕实现2、JobScheduler深度思考JobScheduler是SparkStreaming的调度核心，地位相当于SparkCore上调度中心的DAGScheduler，非常重要！JobGenerator每隔BatchDuration时间会动态的生成JobSet提交给JobScheduler，JobScheduler接收到JobSet后，如何处..
分类：
其他好文 时间：
2016-05-20 14:53:19
阅读次数：
366
