本期内容： 1 Exactly once 容错 2 数据输出不重复 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 ...
分类：
其他好文 时间：
2016-05-08 06:34:48
阅读次数：
196
前置知识：1、事务的特征：1)、处理且仅被处理一次；2)、输出且只被输出一次2、SparkStreaming进行事务处理有没有可能处理完全失败？这个可能性不大，因为Spark是批处理的方式来进行流处理，在SparkStreaming应用程序启动的时候，已经为应用程序分配了相关的资源，而且在调度的..
分类：
其他好文 时间：
2016-05-08 01:23:36
阅读次数：
390
Description Description A hat’s word is a word in the dictionary that is the concatenation of exactly two other words in the dictionary.You are to fin ...
分类：
其他好文 时间：
2016-05-07 18:05:15
阅读次数：
147
本期内容： 1. Exactly once容错 2. 数据输出不重复 一. 事务场景 : 以银行转帐一次为例，A用户转账给B用户，如何保证事务的一致性，即A用户能够转出且只能转出一次，B用户能够收到且只能收到一次。 二. Exactly once容错： 事务处理中如何保证能够处理且只能处理一次，数据 ...
分类：
其他好文 时间：
2016-05-07 13:11:21
阅读次数：
137
本期内容
1、Exactly Once
2、输出不重复
事务：
银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，如何保证事务的一致性，也就是说事务输出，能够输出且只会输出一次，即A只转一次，B只收一次。
从事务视角解密SparkStreaming架构：
SparkStreaming应用程序启动，会分配资源，除非整个集群硬件资源崩溃，一般情况下都不会有问题...
分类：
其他好文 时间：
2016-05-06 15:21:57
阅读次数：
152
本篇文章主要从二个方面展开：
本期内容
1 Exactly Once
2 输出不重复
1 Exactly Once
事务：
银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，如何保证事务的一致性，也就是说事务输出，能够输出且只会输出一次，即A只转一次，B只收一次。
从事务视角解密SparkS...
分类：
其他好文 时间：
2016-05-06 13:11:23
阅读次数：
202
SparkStreaming的事务处理和关系型数据库的事务的概念有所不同，关系型数据库事务关注的是语句级别的一致性，例如银行转账。而SparkStreaming的事务关注的是某次job执行的一致性。也就是如何保证Job在处理数据的过程中做到如下两点：不丢失数据不重复处理数据SparkStreaming程..
分类：
其他好文 时间：
2016-05-04 19:25:41
阅读次数：
170
Context Manager 1. Context Manager简介 "Context managers are a way of allocating and releasing some sort of resource exactly where you need it." Ref[4] ...
分类：
编程语言 时间：
2016-05-04 07:51:01
阅读次数：
220
Single Number III Given an array of numbers nums, in which exactly two elements appear only once and all the other elements appear exactly twice. Find ...
分类：
其他好文 时间：
2016-04-25 00:46:55
阅读次数：
174
表结构如下： 创建了两个全文索引，但是在查找的时候，却出现如下这样的错误。 单独match某一列可以正常查询，但是match多列就报错。 后来从MySQL的文档上面找到：The MATCH() column list must match exactly the column list in som ...
分类：
数据库 时间：
2016-04-22 16:12:34
阅读次数：
212
