测试思路:首先,使用上篇文章的程序一发送网络数据;其次,运行spark程序,观察效果。说明:1.这里使用到了更新函数;2.使用检查点来保证状态。sparkStreaming
importorg.apache.log4j.{LoggerLevel}
importorg.apache.spark.streaming.{SecondsStreamingContext}
importorg...
分类:
其他好文 时间:
2015-05-31 18:47:41
阅读次数:
121
直接上代码吧说下测试思路:该代码监控的/tmp/sparkStream/目录;首先,创建该目录mkdir-p/tmp/sparkStream;然后,运行spark程序;最后,向监控目录/tmp/sparkStream/添加数据文件;观察spark程序运行效果。sparkStreaming
importorg.apache.log4j.{LoggerLevel}
importorg.a..
分类:
其他好文 时间:
2015-05-31 18:46:23
阅读次数:
148
测试思路:首先,创建网络数据源数据发送器(程序一);其次,创建spark接收数据程序(程序二);接着,将程序一打包,放在服务器上执行。这里有三个参数分别是:所要发送的数据文件,通过哪个端口号发送,每隔多少毫秒发送一次数据;最后,运行spark程序,这里每隔5秒处理一次..
分类:
其他好文 时间:
2015-05-31 18:45:44
阅读次数:
194
测试思路:首先,使用网络数据发送程序发送数据;然后,运行spark程序;观察效果。说明:1.这里也需要设置检查点目录2.这里有四个参数:前两个分别是监听的端口和每隔多少毫秒接收一次数据;第三个参数是接收前多少毫秒的数据;(详细请参见window具体含义)第四个参数是每隔多..
分类:
其他好文 时间:
2015-05-31 18:45:23
阅读次数:
115
http://www.codeguru.com/csharp/csharp/cs_data/streaming/article.php/c4223/Streams-and-NET.htmIn this article I will show you the classes the .NET prov...
分类:
Web程序 时间:
2015-05-30 14:53:21
阅读次数:
135
GPU架构SM(Streaming Multiprocessors)是GPU架构中非常重要的部分,GPU硬件的并行性就是由SM决定的。以Fermi架构为例,其包含以下主要组成部分:CUDA coresShared Memory/L1CacheRegister FileLoad/Store Units...
分类:
其他好文 时间:
2015-05-30 07:04:54
阅读次数:
749
转载自http://reader.dashuai.net/?p=100数据清理类工具DataWranglerGoogle Refine统计分析类工具The R Project for Statistical ComputingTimeFlow数据展现类工具Google Fusion TablesIm...
分类:
其他好文 时间:
2015-05-29 13:46:25
阅读次数:
129
1.Spark1.0.0 应用程序部署工具spark-submit2.Spark Streaming的编程模型3.使用java api操作HDFS文件4.用SBT编译Spark的WordCount程序5.在Spark上运行TopK程序6.在Spark上运行WordCount程序7.Spark一个简单...
分类:
其他好文 时间:
2015-05-28 21:21:46
阅读次数:
198
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API,具有高度的一致性和强大的容错能力。基于Spark分布式计算框架,进行扩展实现了一个D-Stream的原型,称为Spark Streaming。
分类:
其他好文 时间:
2015-05-28 19:51:10
阅读次数:
522
本文主要讲解三个问题: 1 使用Java编写MapReduce程序时,如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map、reduce脚本传递参数。 3 使用Streaming编写Ma...
分类:
其他好文 时间:
2015-05-28 19:47:59
阅读次数:
433