本篇博文的目标如下：
1. ReceiverBlockTracker容错安全性
2. DStream和JobGenerator容错安全性文章的组织思路如下：
考虑Driver容错安全性，我们要思考什么？
再详细分析ReceiverBlockTracker，DStream和JobGenerator容错安全性一：容错安全性
1. ReceivedBlockTracker负责管理Spa...
分类：
其他好文 时间：
2016-05-27 12:21:02
阅读次数：
169
1。数据接收架构设计模式
2。数据接收源码彻底研究sparkstreaming接收数据的特征：
第一个特征：不断地持续地接收数据；
第二个特征：一般receiver和driver不再同一个进程中，接受后不断地汇报给driver，driver根据接受到的数据的元数据来负责调度架构上看，有个循环器不断地接收数据，存储数据，汇报给driver，其中接收数据和存储数据不是同一个对象负责。receive...
分类：
其他好文 时间：
2016-05-27 11:19:04
阅读次数：
280
前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行，比如Spark Standalone,YARN,mesos,这些集群给spark Applicatio ...
分类：
其他好文 时间：
2016-05-26 10:09:06
阅读次数：
135
本人这两天遇见这个问题，一直解决不了；网上搜了好多资料，最后终于解决了。 首先说下，引起此种问题的原因： 用笔记本的wifi软件给房子覆盖wifi; 而wifi软件会给适配器属性添加新协议TX WiFi NAV Driver（我的是该协议）； 要解决这个问题，只要卸载此协议就ok了。 以下是具体教程 ...
分类：
其他好文 时间：
2016-05-25 23:51:46
阅读次数：
294
1.首先进入你的安装目录：打开方式用java打开，如下图所示 2.进入界面后，点击Drivers，空白处右键New Driver:如下图所示（记得在红色部分写上ip地址） 3.然后点击Extra Class Path,点击Add，去你安装的lib文件夹下（图1）找到你的驱动包，点击Open完成。 4 ...
分类：
数据库 时间：
2016-05-25 18:18:53
阅读次数：
387
问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由client向ResourceManager提交请求，并上传jar到HDFS上包含哪些步骤？ 4.传递给app的参数应该通过什么来指定？ 5 ...
分类：
其他好文 时间：
2016-05-25 18:13:17
阅读次数：
586
本期内容：1.ReceiverBlockTracker容错安全性2.DStream和JobGenerator容错安全性一：容错安全性1.ReceivedBlockTracker负责管理SparkStreaming运行程序的元数据。数据层面2.DStream和JobGenerator是作业调度的核心层面，也就是具体调度到什么程度了，从运行的考虑的。DStream是..
分类：
其他好文 时间：
2016-05-25 15:17:57
阅读次数：
450
编译器将.c文件编译成.o文件。 动态库是用.o生成.so文件，一般命令为lib***.so ，编译时其不被link到目前代码中，程序运行时载入。 静态库实用.o生成.a 文件，命令为 lib***.a 编译时被link到目标代码中。 想起自己写过的驱动代码，将很大的芯片的driver，编程一个.a ...
分类：
其他好文 时间：
2016-05-25 13:24:20
阅读次数：
130
本期内容 : ReceiverTracker的架构设计 消息循环系统 ReceiverTracker具体实现 一、 ReceiverTracker的架构设计 1、 ReceiverTracker可以以Driver中的具体自己的算法来在具体的Execute中启动Receiver，启动Receiver的 ...
分类：
其他好文 时间：
2016-05-24 20:32:14
阅读次数：
215
桥接模式，用于将抽象化与实现化解偶，使得二者可以独立变化。 举一个数据库JDBC的例子： 定义一个Driver接口，不同的数据库实现的接口，如MySQL，SQLServer MySQL具体类： SQLServer具体类： 一个桥接类： 测试代码： 利用DriverManager作为桥接类，将不同数据 ...
分类：
其他好文 时间：
2016-05-24 12:06:27
阅读次数：
163
