实时的流式处理系统必须是7*24运行的，同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复。然后，在使用某些数据源的时候，错误恢复时输入数据可能会丢失。在spark 1.2中，加入write ahead logs（日志）这个初步...
分类：
其他好文 时间：
2015-09-29 20:38:16
阅读次数：
609
前端组件库搭建web app常用的样式/组件等收集列表(移动优先)0. 前端自动化(Workflow)前端构建工具Yeoman – a set of tools for automating development workflowgulp – The streaming build systemg...
分类：
其他好文 时间：
2015-09-24 16:02:10
阅读次数：
279
1 ? ?Table of Contents spark 总揽 spark core spark sql spark mllib spark graphx spark streaming 2 ? ?spark 总揽 spark官网：https://spark.apache.org/ spark 资料集中营，覆盖各种视频，论文，博客，...
分类：
其他好文 时间：
2015-09-14 21:20:00
阅读次数：
163
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:49
阅读次数：
212
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:31
阅读次数：
169
我先做一下自我介绍，我是 07 年加入的 Google，在 Moutain View 总部任Google SRE，今年年初回国加入 Coding 。在 Google 我参与了两个 Project, 第一个就是 Youtube, 其中包括 Video transcoding, streaming 等，...
分类：
其他好文 时间：
2015-09-10 10:48:34
阅读次数：
245
执行流程数据的接收StreamingContext实例化的时候，需要传入一个SparkContext，然后指定要连接的spark matser url，即连接一个spark engine，用于获得executor。实例化之后，首先，要指定一个接收数据的方式，如val lines = ssc.sock...
分类：
其他好文 时间：
2015-09-09 16:38:29
阅读次数：
163
/** * Created by root on 9/8/15. */import org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.spark.streaming._import org.apache.spark....
分类：
其他好文 时间：
2015-09-09 16:09:16
阅读次数：
144
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、实例演示1.1流数据模拟器1.1.1流数据说明在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能：通过Socket方式监听指定的端口号...
分类：
其他好文 时间：
2015-09-07 08:16:56
阅读次数：
350
下面开始介绍CentOS 6.5 64位上安装Darwin Streaming Server搭建RTSP流媒体服务器的方法： 一、首先说明下我的系统环境： CentOS 6.5 64位最小化安装（用的CentOS-6.5-x86_64-minimal.iso），关闭iptables和SELIN...
分类：
其他好文 时间：
2015-09-02 19:27:28
阅读次数：
320
