码迷,mamicode.com
首页 >  
搜索关键字:receiver    ( 821个结果
python的邮件模块smtplib&email
importsmtplib importstring fromemail.mime.textimportMIMEText defsend_mail(host,sender,sender_passwd,receiver,content_file,port="25"): #print"createsmtpobject" server=smtplib.SMTP() #print"conncectsmtpserver..." server.connect(host,port) #print"loginsmtpse..
分类:编程语言   时间:2016-05-23 19:18:28    阅读次数:213
第12课:Spark Streaming源码解读之Executor容错安全性
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后,会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式:WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/ defpushA..
分类:其他好文   时间:2016-05-23 01:17:31    阅读次数:208
第13课:Spark Streaming源码解读之Driver容错安全性
本期内容:ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面:1.Receiver接收数据的元数据2.Driver管理的各组件信息(调度和驱动层面)元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=> if(WriteAheadLogUtils.isBatching..
分类:其他好文   时间:2016-05-23 01:16:02    阅读次数:251
(版本定制)第11课:Spark Streaming源码解读之Driver中的ReceiverTracker彻底研究和思考
本期内容:1、ReceiverTracker的架构设计2、消息循环系统3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的,并且接收到的数据的元数据会汇报给ReceiverTracker,下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracker主要的功能:在Executor上..
分类:其他好文   时间:2016-05-23 01:03:11    阅读次数:161
(版本定制)第10课:Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考
本期内容:1、数据接收架构设计模式2、数据接收源码彻底研究1、Receiver接受数据的过程类似于MVC模式:Receiver,ReceiverSupervisor和Driver的关系相当于Model,Control,View,也就是MVC。Model就是Receiver,存储数据Control,就是ReceiverSupervisor,Driver是获得元数据,..
分类:其他好文   时间:2016-05-22 18:41:58    阅读次数:250
Spark发行版笔记10:Spark Streaming源码解读之流数据不断接收和全生命周期彻底研究和思考
本节的主要内容: 一、数据接受架构和设计模式 二、接受数据的源码解读 Spark Streaming不断持续的接收数据,具有Receiver的Spark 应用程序的考虑。 Receiver和Driver在不同进程,Receiver接收数据后要不断给Deriver汇报。 因为Driver负责调度,Re ...
分类:其他好文   时间:2016-05-22 18:16:36    阅读次数:221
Spark发行版笔记9:Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考
本节的主要内容: 一、Receiver启动的方式设想 二、Receiver启动源码彻底分析 Receiver的设计是非常巧妙和出色的,非常值得我们去学习、研究、借鉴。 在深入认识Receiver之前,我们有必要思考一下,如果没有Spark、Spark Streaming,我们怎么实现Reciver? ...
分类:其他好文   时间:2016-05-22 16:44:24    阅读次数:266
Android系统信息
前提:获取的都是AndroidMainfest.xml下的信息 一、PackageManager 负责管理所有已安装的App 二、ActivityInfo 封装了Mainifest中的<activity>、<receiver>内所有信息 三、ServiceInfo 封装了Mainifest中的<se ...
分类:移动开发   时间:2016-05-22 15:10:37    阅读次数:163
Spark版本定制第9天:Receiver在Driver的精妙实现全生命周期彻底研究和思考
本期内容: 1 Receiver生命周期 2 深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代,SparkStreaming有着强大吸引力,而且发展前景广阔,加之Spark的生态系统,Streaming可以方便调用其他的诸如SQL,MLlib等强大框架,它必将一统天下。 Spark ...
分类:其他好文   时间:2016-05-22 13:59:20    阅读次数:169
(版本定制)第9课:Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
本期内容:1、Receiver启动方式的设想2、Receiver启动源码彻底分析一:Receiver启动方式的设想1.SparkStreaming通过Receiver持续不断的从外部数据源接收数据,并把数据汇报给Driver端,由此每个BatchDurations就可以根据汇报的数据生成不同的Job。2.Receiver是在SparkStreaming..
分类:其他好文   时间:2016-05-22 00:48:17    阅读次数:272
821条   上一页 1 ... 44 45 46 47 48 ... 83 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!