感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 1 Receiver生命全周期 首先，我们找到数据来源的入口，入口如下 Receiver的设计是极其巧妙的。它的设计非常的出色，很多的地方都值得我们认真的学习。 在深入认识Receiver之前，我们有必要 ...
分类：
其他好文 时间：
2016-05-21 20:21:58
阅读次数：
225
一：Receiver启动的方式设想
1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。
2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。...
分类：
其他好文 时间：
2016-05-20 19:40:41
阅读次数：
241
上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
在前面两节我们发送和接受的都属于系统级别的广播，但是你又没有想过，万一你的应用中的某个广播被别人知道了，人家恶意给你发送各种垃圾广播怎么办？安全性在哪？所以Android为了解决这个问题引入了一套本地广播机制。使用这个机制的广播只能在本应用程序内传播，且接收器也只能接受来自本应用的广播，这样的话刚才 ...
分类：
移动开发 时间：
2016-05-18 21:19:31
阅读次数：
235
架构：数据收集：spark stareming从Azure Queue收集数据，通过自定义的spark stareming receiver，源源不断的消费流式数据。
数据处理: spark stareming分析用户行为日志数据，通过实时的聚集，统计报表现有的应用的运营信息，，也可以通过离线的训练模型，对实现数据进行预测和标注。
结果输出：hdfs
数据收集用到了这个东西，miner是个j...
分类：
其他好文 时间：
2016-05-18 18:47:30
阅读次数：
222
唉···昨天写的博客，被博客园管理组嫌弃了。。。伤心！ 昨天就谢了广播的基本用法，今天就往深里扒扒，明天继续写关于广播的博客。 昨天说的多是关于系统广播的接收，也是系统广播的接收，现在说说自定义广播的用法。先说标准广播的，拿昨天静态注册那个例子来说。其他地方都一样知识把清单文件里面的action给替 ...
分类：
移动开发 时间：
2016-05-18 00:07:40
阅读次数：
201
上一课我们讲解了Receiver启动的流程。Receiver是通过ReceiverSupervisor的start方法启动的：/**Startthesupervisor*/
defstart(){
onStart()
startReceiver()
}首先会调用ReceiverSupervisor的onStart()方法，overrideprotecteddefonStart(){
registeredBlockGenerators.forea..
分类：
其他好文 时间：
2016-05-17 19:49:00
阅读次数：
157
直奔主题，关于广播的一些定义什么的我觉得只要是一名合格的初级android开发这都知道吧，我下面要做的就是怎么去使用broadcast receiver。 1.怎么去监听系统广播？ Android系统有很多内置的系统广播：电话，短信，时间，地区，电池电量，网络变化等等。。。那么我们怎么去在我们的应用 ...
分类：
移动开发 时间：
2016-05-16 21:43:49
阅读次数：
202
在SparkStreaming中对于ReceiverInputDStream来说，都是现实一个Receiver，用来接收数据。而Receiver可以有很多个，并且运行在不同的worker节点上。这些Receiver都是由ReceiverTracker来管理的。在ReceiverTracker的start方法中，会创建一个消息通信体ReceiverTrackerEndpoint..
分类：
其他好文 时间：
2016-05-16 17:52:24
阅读次数：
375
麻雀虽小五脏俱全，本文我是从慕课网学习的感谢慕课提供了那么免费优秀的资源这里巧妙的把Android的四大主键紧密的联系了起来Activity—Service—Broadcast Receiver—-SQLite不多啰嗦 直接上代码注释很详细慢慢参透...
分类：
移动开发 时间：
2016-05-13 15:02:19
阅读次数：
321
