前提：获取的都是AndroidMainfest.xml下的信息 一、PackageManager 负责管理所有已安装的App 二、ActivityInfo 封装了Mainifest中的<activity>、<receiver>内所有信息 三、ServiceInfo 封装了Mainifest中的<se ...
分类：
移动开发 时间：
2016-05-22 15:10:37
阅读次数：
163
本期内容： 1 Receiver生命周期 2 深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark ...
分类：
其他好文 时间：
2016-05-22 13:59:20
阅读次数：
169
本期内容：1、Receiver启动方式的设想2、Receiver启动源码彻底分析一：Receiver启动方式的设想1.SparkStreaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个BatchDurations就可以根据汇报的数据生成不同的Job。2.Receiver是在SparkStreaming..
分类：
其他好文 时间：
2016-05-22 00:48:17
阅读次数：
272
本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 ...
分类：
其他好文 时间：
2016-05-21 20:29:14
阅读次数：
146
本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 ...
分类：
其他好文 时间：
2016-05-21 20:29:04
阅读次数：
168
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 1 Receiver生命全周期 首先，我们找到数据来源的入口，入口如下 Receiver的设计是极其巧妙的。它的设计非常的出色，很多的地方都值得我们认真的学习。 在深入认识Receiver之前，我们有必要 ...
分类：
其他好文 时间：
2016-05-21 20:21:58
阅读次数：
225
一：Receiver启动的方式设想
1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。
2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。...
分类：
其他好文 时间：
2016-05-20 19:40:41
阅读次数：
241
上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
在前面两节我们发送和接受的都属于系统级别的广播，但是你又没有想过，万一你的应用中的某个广播被别人知道了，人家恶意给你发送各种垃圾广播怎么办？安全性在哪？所以Android为了解决这个问题引入了一套本地广播机制。使用这个机制的广播只能在本应用程序内传播，且接收器也只能接受来自本应用的广播，这样的话刚才 ...
分类：
移动开发 时间：
2016-05-18 21:19:31
阅读次数：
235
架构：数据收集：spark stareming从Azure Queue收集数据，通过自定义的spark stareming receiver，源源不断的消费流式数据。
数据处理: spark stareming分析用户行为日志数据，通过实时的聚集，统计报表现有的应用的运营信息，，也可以通过离线的训练模型，对实现数据进行预测和标注。
结果输出：hdfs
数据收集用到了这个东西，miner是个j...
分类：
其他好文 时间：
2016-05-18 18:47:30
阅读次数：
222
