本期内容 : ReceiverTracker的架构设计 消息循环系统 ReceiverTracker具体实现 一、 ReceiverTracker的架构设计 1、 ReceiverTracker可以以Driver中的具体自己的算法来在具体的Execute中启动Receiver，启动Receiver的 ...
分类：
其他好文 时间：
2016-05-24 20:32:14
阅读次数：
215
本期内容 : Receiver启动的方式设想 Receiver启动源码彻底分析 多个输入源输入启动，Receiver启动失败，只要我们的集群存在就希望Receiver启动成功，运行过程中基于每个Teark启动都有可能运行失败。 启动一个应用程序的不同Receiver采用一个不同RDD的partion ...
分类：
其他好文 时间：
2016-05-24 20:31:36
阅读次数：
153
本篇博文的目标是：
Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计
1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Receiver....
分类：
其他好文 时间：
2016-05-24 10:27:41
阅读次数：
308
本期内容： 1、DStream与RDD关系彻底研究 2、Streaming中RDD的生成彻底研究 一、DStream与RDD关系彻底研究 课前思考： RDD是怎么生成的？ RDD依靠什么生成？根据DStream来的 RDD生成的依据是什么？ Spark Streaming中RDD的执行是否和Spar ...
分类：
其他好文 时间：
2016-05-24 00:08:29
阅读次数：
187
本期内容：1、Executor的WAL容错机制2、消息重放Executor的安全容错主要是数据的安全容错，那为什么不考虑数据计算的安全容错呢？原因是计算的时候SparkStreaming是借助于SparkCore上RDD的安全容错的，所以天然的安全可靠的。Executor的安全容错主要有：1、数据副本：有两种方..
分类：
其他好文 时间：
2016-05-23 19:25:31
阅读次数：
207
上边代码通过创建Ivar(成员变量)的 抽象类， 返回我们需要的关于Ivar 的信息， 通过一个初始化方法创建，接下来我们看看该方法的具体实现 ivar_getOffset函数，对于类型id或其它对象类型的实例变量，可以调用object_getIvar和object_setIvar来直接访问成员变量 ...
分类：
其他好文 时间：
2016-05-23 17:15:05
阅读次数：
242
为了兼容Swift 中的 ? 和 ! oc 在6.3引入了两个新的类型注释：__nullable和__nonnull ， 在字面上很好理解 可能为空， 不为空， 在上面代码中间则表示 默认的所有的属性都不能为空，这样我们在敲码的过程中只需要手写__nullable的类型就可以了 上边的代码 就涉及到 ...
分类：
其他好文 时间：
2016-05-23 14:42:03
阅读次数：
263
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后，会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式：WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/
defpushA..
分类：
其他好文 时间：
2016-05-23 01:17:31
阅读次数：
208
本期内容：ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面：1.Receiver接收数据的元数据2.Driver管理的各组件信息（调度和驱动层面）元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=>
if(WriteAheadLogUtils.isBatching..
分类：
其他好文 时间：
2016-05-23 01:16:02
阅读次数：
251
本期内容：1、ReceiverTracker的架构设计2、消息循环系统3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracker主要的功能：在Executor上..
分类：
其他好文 时间：
2016-05-23 01:03:11
阅读次数：
161
