本期内容 : Receiver启动的方式设想 Receiver启动源码彻底分析 多个输入源输入启动，Receiver启动失败，只要我们的集群存在就希望Receiver启动成功，运行过程中基于每个Teark启动都有可能运行失败。 启动一个应用程序的不同Receiver采用一个不同RDD的partion ...
分类：
其他好文 时间：
2016-05-24 20:31:36
阅读次数：
153
本篇博文的目标是：
Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计
1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Receiver....
分类：
其他好文 时间：
2016-05-24 10:27:41
阅读次数：
308
importsmtplib
importstring
fromemail.mime.textimportMIMEText
defsend_mail(host,sender,sender_passwd,receiver,content_file,port="25"):
#print"createsmtpobject"
server=smtplib.SMTP()
#print"conncectsmtpserver..."
server.connect(host,port)
#print"loginsmtpse..
分类：
编程语言 时间：
2016-05-23 19:18:28
阅读次数：
213
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后，会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式：WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/
defpushA..
分类：
其他好文 时间：
2016-05-23 01:17:31
阅读次数：
208
本期内容：ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面：1.Receiver接收数据的元数据2.Driver管理的各组件信息（调度和驱动层面）元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=>
if(WriteAheadLogUtils.isBatching..
分类：
其他好文 时间：
2016-05-23 01:16:02
阅读次数：
251
本期内容：1、ReceiverTracker的架构设计2、消息循环系统3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracker主要的功能：在Executor上..
分类：
其他好文 时间：
2016-05-23 01:03:11
阅读次数：
161
本节的主要内容： 一、ReceiverTracker的架构设计 二、消息循环系统 三、ReceiverTracker具体实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？看源码Rec ...
分类：
其他好文 时间：
2016-05-22 20:02:22
阅读次数：
346
本期内容：1、数据接收架构设计模式2、数据接收源码彻底研究1、Receiver接受数据的过程类似于MVC模式：Receiver，ReceiverSupervisor和Driver的关系相当于Model，Control，View，也就是MVC。Model就是Receiver，存储数据Control，就是ReceiverSupervisor，Driver是获得元数据，..
分类：
其他好文 时间：
2016-05-22 18:41:58
阅读次数：
250
本节的主要内容： 一、数据接受架构和设计模式 二、接受数据的源码解读 Spark Streaming不断持续的接收数据，具有Receiver的Spark 应用程序的考虑。 Receiver和Driver在不同进程，Receiver接收数据后要不断给Deriver汇报。 因为Driver负责调度，Re ...
分类：
其他好文 时间：
2016-05-22 18:16:36
阅读次数：
221
本节的主要内容： 一、Receiver启动的方式设想 二、Receiver启动源码彻底分析 Receiver的设计是非常巧妙和出色的，非常值得我们去学习、研究、借鉴。 在深入认识Receiver之前，我们有必要思考一下，如果没有Spark、Spark Streaming，我们怎么实现Reciver？ ...
分类：
其他好文 时间：
2016-05-22 16:44:24
阅读次数：
266
