转自：http://www.cnblogs.com/xlturing/p/spark.html 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时，我们往往需要操作数据库，去统计或者改变一些值。最近一个实时消费者处理任务，在使用spark streaming进行实时的数 ...
分类：
数据库 时间：
2016-09-01 10:56:49
阅读次数：
262
本博文主要包含以下内容：1、 Spark Streaming Job 生成深度思考
2 、Spark Streaming Job 生成源码解析一 ：Spark Streaming Job 生成深度思...
分类：
其他好文 时间：
2016-08-30 16:05:12
阅读次数：
231
RTSP（Real Time Streaming Protocol）是由Real Network和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP对流媒体提供了诸如暂停，快进等控制，而它本身并不传输数据，RTSP的作用相当于流媒体服务器的远程控制。服 务器端可以自 ...
分类：
其他好文 时间：
2016-08-28 01:01:59
阅读次数：
222
Savepoint 本文翻译自文档Streaming Guide / Savepoints 使用DataStream API编写的程序可以从一个savepoint处恢复执行。savepoint可以同时更新你的程序和Flink集群而不丢失任何状态。该文档包括了从触发、存储以及销毁(dispose)sa ...
分类：
编程语言 时间：
2016-08-19 20:34:30
阅读次数：
276
长久以来，函数式编程模式都被认为是一种学术研究用或教学实验用的编程模式。直到近几年由于大数据和多核CPU的兴起造成了函数式编程模式在一些实际大型应用中的出现，这才逐渐改变了人们对函数式编程无用论的观点。通过一段时间对函数式编程方法的学习，我们了解到Free Monad的算式／算法关注分离（separ ...
分类：
编程语言 时间：
2016-08-19 12:55:55
阅读次数：
249
State Backends 本文翻译自文档Streaming Guide / Fault Tolerance / StateBackend 使用Data Stream API编写的程序通常以多种形式维护状态： · 窗口将收集element或在它被触发后聚合element · Transformat ...
分类：
编程语言 时间：
2016-08-19 00:47:51
阅读次数：
632
Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据 好吧我承认以上这句是抄的以下是原创干货 首先部署hadoop环境 ...
分类：
编程语言 时间：
2016-08-18 19:51:14
阅读次数：
361
虽然spark streaming定义了常用的Receiver，但有时候还是需要自定义自己的Receiver的。对于自定义的Receiver，只需要实现spark streaming的Receiver抽象类即可。而Receiver的实现只需要简单地实现两个方法： 1、onStart()：接收数据。 ...
分类：
系统相关 时间：
2016-08-18 01:03:32
阅读次数：
269
Accumulators and Broadcast Variables这些不能从checkpoint重新恢复如果想启动检查点的时候使用这两个变量，就需要创建这写变量的懒惰的singleton实例。下面是一个例子：def getWordBlacklist(sparkContext): if ('wo... ...
分类：
其他好文 时间：
2016-08-17 12:19:34
阅读次数：
402
本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何向map、reduce脚本传递参数。 3 使用Streaming编写MapReduc ...
分类：
其他好文 时间：
2016-08-11 19:11:02
阅读次数：
150
