测试思路：首先，使用上篇文章的程序一发送网络数据；其次，运行spark程序，观察效果。说明：1.这里使用到了更新函数；2.使用检查点来保证状态。sparkStreaming
importorg.apache.log4j.{LoggerLevel}
importorg.apache.spark.streaming.{SecondsStreamingContext}
importorg...
分类：
其他好文 时间：
2015-05-31 18:47:41
阅读次数：
121
测试思路：首先，使用网络数据发送程序发送数据；然后，运行spark程序；观察效果。说明：1.这里也需要设置检查点目录2.这里有四个参数：前两个分别是监听的端口和每隔多少毫秒接收一次数据；第三个参数是接收前多少毫秒的数据；（详细请参见window具体含义）第四个参数是每隔多..
分类：
其他好文 时间：
2015-05-31 18:45:23
阅读次数：
115
http://www.codeguru.com/csharp/csharp/cs_data/streaming/article.php/c4223/Streams-and-NET.htmIn this article I will show you the classes the .NET prov...
分类：
Web程序 时间：
2015-05-30 14:53:21
阅读次数：
135
GPU架构SM（Streaming Multiprocessors）是GPU架构中非常重要的部分，GPU硬件的并行性就是由SM决定的。以Fermi架构为例，其包含以下主要组成部分：CUDA coresShared Memory/L1CacheRegister FileLoad/Store Units...
分类：
其他好文 时间：
2015-05-30 07:04:54
阅读次数：
749
1.Spark1.0.0 应用程序部署工具spark-submit2.Spark Streaming的编程模型3.使用java api操作HDFS文件4.用SBT编译Spark的WordCount程序5.在Spark上运行TopK程序6.在Spark上运行WordCount程序7.Spark一个简单...
分类：
其他好文 时间：
2015-05-28 21:21:46
阅读次数：
198
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API，具有高度的一致性和强大的容错能力。基于Spark分布式计算框架，进行扩展实现了一个D-Stream的原型，称为Spark Streaming。
分类：
其他好文 时间：
2015-05-28 19:51:10
阅读次数：
522
本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何向map、reduce脚本传递参数。 3 使用Streaming编写Ma...
分类：
其他好文 时间：
2015-05-28 19:47:59
阅读次数：
433
背景：前一段时间帮助一个朋友研究了下流媒体播放方面的知识，感觉挺好玩的。现在把浅薄的尝试和总结分享给大家。 一.HLS流媒体点播系统概述 HTTP?Live? Streaming最初是苹果公司针对其iPhone、iPod、iTouch和i...
分类：
其他好文 时间：
2015-05-28 16:31:45
阅读次数：
286
JACKSON框架用法基本
之前参与的一个手机项目中和服务器进行交互的数据格式就是JSON，在手机端用JACKSON进行数据和java bean之间的转换。这次专业课的结课作业需要手机应用和服务器交互，我就想用JSON传递数据，用JACKSON来进行解析，特此总结一下。
简介JACKSON是一个多用途的java库，来解析JSON格式的数据，用途很广。解析JSON的三种方式
Streaming A...
分类：
其他好文 时间：
2015-05-26 18:55:59
阅读次数：
226
http://www.cnblogs.com/shenh062326/p/3946341.html 其实流程是从这里转载下来的，我只是在流程叙述中做了一下的标注。 当然为了自己能记住的更清楚，我没有直接copy而是打出来的。1、客户端提交作业后，启动Driver，Driver是Spark作业的Mas...
分类：
其他好文 时间：
2015-05-26 06:48:49
阅读次数：
185
