一、什么是Flume?Flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于cloudera。但随着FLume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤..
分类：
Web程序 时间：
2016-04-22 01:23:48
阅读次数：
320
Spark Streaming 案例动手实战 工作原理...
分类：
其他好文 时间：
2016-04-18 13:46:16
阅读次数：
159
本期内容： 1、Spark Streaming 动手实战演示 2、闪电般理解Spark Streaming原理 3、案例动手实战并在电光石火间理解其工作原理 流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。 日 ...
分类：
其他好文 时间：
2016-04-18 13:37:46
阅读次数：
170
在大数据时代Spark Streaming能做什么？
平时用户都有网上购物的经历，用户在网站上进行的各种操作通过Spark Streaming流处理技术可以被监控，用户的购买爱好、关注度、交易等可以进行行为分析。在金融领域，通过Spark Streaming流处理技术可以对交易量很大的账号进行监控，防止罪犯洗钱、财产转移、防欺诈等。在网络安全性方面，黑客攻击时有发生，通过Spark Streaming流处理技术可以将某类可疑IP进行监控并结合机器学习训练模型匹配出当前请求是否属于黑客攻击。其他方面，如：垃...
分类：
其他好文 时间：
2016-04-17 22:45:28
阅读次数：
267
本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术——Spark。在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、 ...
分类：
其他好文 时间：
2016-04-12 07:05:51
阅读次数：
480
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整 ...
分类：
其他好文 时间：
2016-04-06 18:28:13
阅读次数：
411
SparkStreaming 源码分析 一节中从源码角度，描述了Streaming执行时代码的调用过程。下边就接收转化阶段过程再简单分析一下，为分析backpressure作准备。 SparkStreaming的全过程分为两个阶段：数据接收转化阶段和Job产生与执行阶段。两个阶段通过数据接收转化阶段 ...
分类：
其他好文 时间：
2016-04-03 16:03:30
阅读次数：
157
恢复内容开始 1、为什么引入Backpressure 默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time > batch interval的情况，其中batch processing time 为实 ...
分类：
其他好文 时间：
2016-04-03 15:53:32
阅读次数：
884
转载自：http://www.cuplayer.com/player/PlayerCode/Wowza/2015/0204/1774.html HLS (HTTP Live Streaming) Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件 ...
分类：
其他好文 时间：
2016-04-01 20:24:07
阅读次数：
292
1.Spark Streaming是什么 Spark Streaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源，例如kafka，Flume，Twitter，ZeroMQ或者TCP Socket等。在这个框架下，支持对流数据的各种运算，比如map，red ...
分类：
其他好文 时间：
2016-03-27 14:05:50
阅读次数：
453
