做个笔记，记录streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参数检查然后启动jobschedulerStreamingContext.scaladefstart():Unit=synchronized..
分类：
其他好文 时间：
2015-03-06 19:18:24
阅读次数：
322
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间，...
分类：
其他好文 时间：
2015-03-03 16:51:30
阅读次数：
209
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版...
分类：
其他好文 时间：
2015-03-03 15:11:59
阅读次数：
269
./configure \--prefix=/usr/local/nginx \--sbin-path=/usr/local/nginx/sbin/nginx \--conf-path=/usr/local/nginx/conf/nginx.conf \--error-log-path=/usr/l...
分类：
其他好文 时间：
2015-03-03 14:57:29
阅读次数：
1048
原文地址：http://www.adobe.com/cn/devnet/flashmediaserver/articles/multicast_streaming_osmf.html使用OSMF实现实时多播流处理在本文中，将借助Adobe Flash Media Live Encoder、Adobe...
分类：
其他好文 时间：
2015-02-22 23:01:30
阅读次数：
309
基于流的数据读写，太抽象了，什么叫基于流，什么是流？Hadoop是Java语言写的，所以想理解好Hadoop的Streaming Data Access，还得从Java流机制入手。流机制也是JAVA及C++中的一个重要的机制，通过流使我们能够自由地操作包括文件，内存，IO设备等等中的数据。首先，流是...
分类：
编程语言 时间：
2015-02-22 19:35:17
阅读次数：
247
1、NetworkWordCount
1.1、开启发送数据的服务器
cd /home/jianxin/spark
java -jar LoggerSimulation.jar 9999 10
java -jar NetworkWordCount.jar localhost 9999
netstat -nalp | grep 9999
lsof -i:99991.2、...
分类：
其他好文 时间：
2015-02-16 14:20:21
阅读次数：
183
前言spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（Map/Reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。一般很少有对实时要求那么高...
分类：
其他好文 时间：
2015-02-13 16:09:25
阅读次数：
132
使用HTML5的VIDEO播放RTSP实时视频流源代码： Video Test 10: RTSP Streaming html5 video ▶ ◼ Volume Up Volume...
分类：
Web程序 时间：
2015-02-11 20:38:13
阅读次数：
194
Most assets in Unity are combined into the project when it is built. However, it is sometimes useful to place files into the normal filesystem on the ...
分类：
其他好文 时间：
2015-02-10 11:10:42
阅读次数：
254
