1:Direct方式特点:
1)Direct的方式是会直接操作kafka底层的元数据信息,这样如果计算失败了,可以把数据重新读一下,重新处理。即数据一定会被处理
2)由于直接操作的是kafka,kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性,即一定会被处理,而且只会被处理一次。而Receiver的方式则不能保证,因为Receiver和ZK中的数据可能不同步,spark St...
分类:
其他好文 时间:
2016-05-13 03:17:41
阅读次数:
136
以此回顾学习《设计模式之禅》的责任链模式。
什么是责任链模式?
Avoid coupling the sender of a request to its receiver by giving more than one object a chance to handle the request. Chain the receiving objects and pass the request...
分类:
其他好文 时间:
2016-05-12 18:56:30
阅读次数:
171
方法一:
使用ASB模型
1.Activity启动Service
2.Service发送广播
3.在Activity上注册BroadcastReceiver接受广播
public class MainActivity extends Activity {
TextView tv;
MyReceiver receiver;
@Override
protected void ...
分类:
其他好文 时间:
2016-05-12 17:15:10
阅读次数:
118
概述
BroadcastReceiver会接收sendBroadcast()发送的intent。
如果不需要跨进程发送broadcasts,可以考虑使用LocalBroadcastManager (帮助在自己的进程中注册和发送广播),这个类没有跨进程,效率更高并且不需要考虑其他应用所带来的安全问题。
注册Receiver有两种方式:
1. 动态注册,通过Context.registerRe...
分类:
移动开发 时间:
2016-05-12 13:32:23
阅读次数:
241
本节课主要从以下二个方面来解密SparkStreaming:
一、解密SparkStreaming运行机制
二、解密SparkStreaming架构
SparkStreaming运行时更像SparkCore上的应用程序,SparkStreaming程序启动后会启动很多job,每个batchIntval、windowByKey的job、框架运行启动的job。例如,Receiver启...
分类:
其他好文 时间:
2016-05-12 12:39:01
阅读次数:
159
第4课 :Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/
Exactly Once的事务处理:
1,数据零丢失:必须有可靠的数据来源和可靠的Receiver,且整个应用程序的metadata必须进行check...
分类:
其他好文 时间:
2016-05-12 12:33:25
阅读次数:
171
SparkStreaming是Spark的一个子框架,但是它更像是运行在SparkCore上的一个应用程序。SparkStreaming在启动时运行了很多的job,并且job之间相互配合。Job围绕了两个方面:1.对输入数据流进行计算的Job2.框架自身运行需要的Job,例如Receiver启动。SparkStreaming本身就是一个非..
分类:
其他好文 时间:
2016-05-08 01:23:42
阅读次数:
204
布局/定位相关
@interface UIView(UIViewHierarchy)
- (void)setNeedsLayout;
注意:
1.在receiver标上一个需要被重新布局的标记,在系统runloop的下一个周期自动调用layoutSubviews。
- (void)layoutIfNeeded;
注意:
1.方法如其名,UIKit会判断该receiver是否需要l...
分类:
其他好文 时间:
2016-05-07 11:19:16
阅读次数:
294
在Android 帮助文档中,Intent的介绍为An intent is an abstract description of an operation to be performed,意思是一个Intent是对一个即将进行的操作的抽象,Intent的字面意识就是”意图”,Android应用程序中的三种其他应用程序基本组件——Activity, Service和Broadcast Receiver...
分类:
其他好文 时间:
2016-05-07 07:17:15
阅读次数:
109
BroadcastReceiver注册类型
BroadcastReceiver总体上可以分为两种注册类型:静态注册和动态注册。
1).静态注册:
直接在AndroidManifest.xml文件中进行注册。规则如下:
receiver android:enabled=["true" | "false"]
android:exported=["true"...
分类:
其他好文 时间:
2016-05-06 16:13:58
阅读次数:
307