上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
上篇文章已经对index.js中的基本调用情况做了说明，接下来的几篇将对各个函数做仔细的分析，能力有限，文章中不足之处，希望大家能够指正！
上篇中提到在instance/vue中使用了9个高阶函数来构建（install）Vue构造函数（并不会调用该构造函数的进行初始化的过程），一切等在使用new Vue({….})的时候将一个全新的对象作为函数内this的值，返回该新对象作为结果（函数 调用中...
分类：
其他好文 时间：
2016-05-18 19:20:47
阅读次数：
201
一：Spark Streaming Job生成深度思考
1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。
2. JobGenerator构造的时候有一个核心的参数是jobScheduler,...
分类：
其他好文 时间：
2016-05-18 18:59:03
阅读次数：
236
之前我们介绍了Handler的一些基本用法，也解读了Handler的源码。通过Handler我们可以简便的切换到主线程进行UI操作。而AsyncTask的出现使我们不用去关心线程管理和切换的一些细节，我们可以更轻松的去操作UI。...
分类：
其他好文 时间：
2016-05-18 10:51:34
阅读次数：
245
上一课我们讲解了Receiver启动的流程。Receiver是通过ReceiverSupervisor的start方法启动的：/**Startthesupervisor*/
defstart(){
onStart()
startReceiver()
}首先会调用ReceiverSupervisor的onStart()方法，overrideprotecteddefonStart(){
registeredBlockGenerators.forea..
分类：
其他好文 时间：
2016-05-17 19:49:00
阅读次数：
157
在SparkStreaming中对于ReceiverInputDStream来说，都是现实一个Receiver，用来接收数据。而Receiver可以有很多个，并且运行在不同的worker节点上。这些Receiver都是由ReceiverTracker来管理的。在ReceiverTracker的start方法中，会创建一个消息通信体ReceiverTrackerEndpoint..
分类：
其他好文 时间：
2016-05-16 17:52:24
阅读次数：
375
基本概念Handler消息机制的作用大家知道子线程没有办法对UI界面上的内容进行操作，如果操作，将抛出异常：CalledFromWrongThreadException，为了让子线程能间接操作UI界面，Android中引入了Handler消息传递机制，通过Handler切换到主线程进行UI操作。...
分类：
其他好文 时间：
2016-05-16 11:10:30
阅读次数：
225
本期内容：1、SparkStreamingJob生成深度思考2、SparkStreamingJob生成源码解析本节课主要是针对Job如何产生进行阐述在SparkStreaming里，总体负责动态作业调度的具体类是JobScheduler:/***ThisclassschedulesjobstoberunonSpark.ItusestheJobGeneratortogenerate*thejobsandru..
分类：
其他好文 时间：
2016-05-15 20:07:17
阅读次数：
385
对于每个SparkStreaming程序，我们都会设置一个batchDuration。也就是用来控制多久触发一次Streaming的job。Streamingjob的主要任务针对特定的时刻，通过RDD的模板DStream中实例化RDD，并且通过DStreamGraph中实例化出RDDDAG。然后将RDDDAG提交给集群运行。在SparkStreaming里..
分类：
其他好文 时间：
2016-05-13 15:27:35
阅读次数：
252
本期内容： 1、Spark Streaming Job生成深度思考 2、Spark Streaming Job生成源码解析 特别感谢王家林老师的独具一格的讲解： 王家林老师名片： 中国Spark第一人 新浪微博：http://weibo.com/ilovepains 微信公众号：DT_Spark 博 ...
分类：
其他好文 时间：
2016-05-13 13:21:43
阅读次数：
174
