For streaming processing, we could use number to set as recorder of last state. Normal recursion: ...
分类：
其他好文 时间：
2017-08-22 13:52:22
阅读次数：
139
1、安装nginx依赖包 yum install gcc gcc-c++ openssl-devel zlib-devel pcre pcre-devel yamdi 2.下载解压nginx_mod_h264_streaming,让nginx支持flv,mp4流播放 wget http://h264 ...
分类：
其他好文 时间：
2017-08-17 22:51:37
阅读次数：
327
概念： Spark是加州大学伯克利分校AMP实验室，开发的通用内存并行计算框架。 支持用scala、java和Python等语言编写应用程序。相较于Hdoop，往往有更好的运行效率。 Spark包括了Spark Core, Spark SQL, SparkStreaming,MLlib和Graphx ...
分类：
其他好文 时间：
2017-08-15 21:04:27
阅读次数：
168
spark-streaming与flume整合 push http://spark.apache.org/docs/1.6.3/streaming-flume-integration.html ...
分类：
Web程序 时间：
2017-08-14 14:16:21
阅读次数：
301
无意中看到了dqzhangp的一篇博客，分析了DSS的核心架构，读完顿时感觉豁然开朗，茅塞顿开，写得非常的鞭辟入里，言简意赅，我想没有相当的功力是写不出这样的文章的，情不自禁转到自己空间来，生怕弄丢了。 基本概念 首先，我针对的代码是Darwin StreamingServer 6.0.3未经任何改 ...
基本概念首先，我针对的代码是Darwin Streaming Server 6.0.3未经任何改动的版本。Darwin Streaming Server从设计模式上看，采用了Reactor的并发服务器设计模式，如果对Reactor有一定的了解会有助于对Darwin Streaming Server核 ...
近期 有网友看我的“整合Kafka到Spark Streaming——代码演示样例和挑战”文章， 讲 kafka对象 放到 pool 并通过broadcast广播出去： 然后 在开发測试阶段 报错例如以下： 然后就找我，说“代码都跟你的差点儿相同呀，为什么就报这个错呢？” 事实上 对于广播操作。sp ...
分类：
编程语言 时间：
2017-08-11 14:48:37
阅读次数：
519
概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 S ...
分类：
其他好文 时间：
2017-08-08 15:17:44
阅读次数：
410
由于公司网站需要放置视频，但是默认的服务器环境是没有编译这个支持的模块，视频文件只能缓冲完了在播放，非常麻烦。 之前呢也安装了一个nginx_mod_h264_streaming来支持，效果很不错，但是服务器最近系统更新后出了点问题，只好从新编译，今天在nginx官网看到了nginx在新版本中已经支 ...
分类：
其他好文 时间：
2017-08-07 19:22:17
阅读次数：
117
充分利用hadoop的map输出自动排序功能，能够有效提高计算效率。Hadoop streaming框架默认情况下会以'/t’作为分隔符，将每行第一个'/t’之前的部分作为key，其余内容作为value，如果没有'/t’分隔符，则整行作为key；这个key/tvalue对又作为该map对应的redu ...
分类：
其他好文 时间：
2017-08-05 12:38:11
阅读次数：
131
