本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 ...
分类：
其他好文 时间：
2016-05-21 20:29:04
阅读次数：
168
上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
上一课我们讲解了Receiver启动的流程。Receiver是通过ReceiverSupervisor的start方法启动的：/**Startthesupervisor*/
defstart(){
onStart()
startReceiver()
}首先会调用ReceiverSupervisor的onStart()方法，overrideprotecteddefonStart(){
registeredBlockGenerators.forea..
分类：
其他好文 时间：
2016-05-17 19:49:00
阅读次数：
157
在SparkStreaming中对于ReceiverInputDStream来说，都是现实一个Receiver，用来接收数据。而Receiver可以有很多个，并且运行在不同的worker节点上。这些Receiver都是由ReceiverTracker来管理的。在ReceiverTracker的start方法中，会创建一个消息通信体ReceiverTrackerEndpoint..
分类：
其他好文 时间：
2016-05-16 17:52:24
阅读次数：
375
BlockGenerator和RateLimiter其实很简单，但是它包含了几个很重要的属性配置的处理，所以记录一下。/** * Generates batches of objects received by a * [[org.apache.spark.streaming.receiver.Re...
分类：
其他好文 时间：
2015-02-05 20:03:14
阅读次数：
148
