本期内容 1、ReceivedBlockTracker容错安全性 2、DStreamGraph和JobGenerator容错安全性 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以 ...
分类：
其他好文 时间：
2016-05-24 11:45:51
阅读次数：
151
本篇博文的目标是：
Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计
1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Receiver....
分类：
其他好文 时间：
2016-05-24 10:27:41
阅读次数：
308
1 Manila Mitaka版本概述 NetApp工程师介绍到，Manila Mitaka发布版本Driver个数达到了18个， M版本新加入14家公司（中国公司继华为之后又有99cloud等公司加入）， 本版本完成了43个蓝图，主要的蓝图有共享迁移、将扩展API移入核心， 增加了功能测试、QoS ...
分类：
其他好文 时间：
2016-05-23 14:55:48
阅读次数：
225
一、JDBC的批量插入 JDBC批量插入主要用于数据导入和日志记录因为日志一般都是先写在文件下的等。 我用Mysql5.1.5的JDBC driver 分别对三种比较常用的方法做了测试 方法一，使用PreparedStatement加批量的方法 Java代码 try{ 说明下在建Statement的 ...
分类：
数据库 时间：
2016-05-23 14:49:22
阅读次数：
246
本期内容：ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面：1.Receiver接收数据的元数据2.Driver管理的各组件信息（调度和驱动层面）元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=>
if(WriteAheadLogUtils.isBatching..
分类：
其他好文 时间：
2016-05-23 01:16:02
阅读次数：
251
本期内容：1、ReceiverTracker的架构设计2、消息循环系统3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracker主要的功能：在Executor上..
分类：
其他好文 时间：
2016-05-23 01:03:11
阅读次数：
161
def xunhuan2(self): lie = self.driver.find_elements_by_css_selector('li.fp14') liebiao = len(lie) for lie in range(liebiao): self.driver.find_elements ...
分类：
其他好文 时间：
2016-05-22 23:05:37
阅读次数：
340
本节的主要内容： 一、ReceivedBlockTracker容错安全性 二、DStreamGraph和JobGenerator容错安全性 从数据层面，ReceivedBlockTracker为整个Spark Streaming应用程序记录元数据信息。 从调度层面，DStreamGraph和JobG ...
分类：
其他好文 时间：
2016-05-22 19:54:52
阅读次数：
199
本期内容：1、数据接收架构设计模式2、数据接收源码彻底研究1、Receiver接受数据的过程类似于MVC模式：Receiver，ReceiverSupervisor和Driver的关系相当于Model，Control，View，也就是MVC。Model就是Receiver，存储数据Control，就是ReceiverSupervisor，Driver是获得元数据，..
分类：
其他好文 时间：
2016-05-22 18:41:58
阅读次数：
250
本节的主要内容： 一、数据接受架构和设计模式 二、接受数据的源码解读 Spark Streaming不断持续的接收数据，具有Receiver的Spark 应用程序的考虑。 Receiver和Driver在不同进程，Receiver接收数据后要不断给Deriver汇报。 因为Driver负责调度，Re ...
分类：
其他好文 时间：
2016-05-22 18:16:36
阅读次数：
221
