码迷,mamicode.com
首页 >  
搜索关键字:streaming 数据清理    ( 1344个结果
spark streaming测试之三有状态的接收数据
测试思路:首先,使用上篇文章的程序一发送网络数据;其次,运行spark程序,观察效果。说明:1.这里使用到了更新函数;2.使用检查点来保证状态。sparkStreaming importorg.apache.log4j.{LoggerLevel} importorg.apache.spark.streaming.{SecondsStreamingContext} importorg...
分类:其他好文   时间:2015-05-31 18:47:41    阅读次数:121
spark streaming测试之一使用本地数据源
直接上代码吧说下测试思路:该代码监控的/tmp/sparkStream/目录;首先,创建该目录mkdir-p/tmp/sparkStream;然后,运行spark程序;最后,向监控目录/tmp/sparkStream/添加数据文件;观察spark程序运行效果。sparkStreaming importorg.apache.log4j.{LoggerLevel} importorg.a..
分类:其他好文   时间:2015-05-31 18:46:23    阅读次数:148
spark streaming测试之二使用网络数据源
测试思路:首先,创建网络数据源数据发送器(程序一);其次,创建spark接收数据程序(程序二);接着,将程序一打包,放在服务器上执行。这里有三个参数分别是:所要发送的数据文件,通过哪个端口号发送,每隔多少毫秒发送一次数据;最后,运行spark程序,这里每隔5秒处理一次..
分类:其他好文   时间:2015-05-31 18:45:44    阅读次数:194
spark streaming测试之四设置窗口大小接收数据
测试思路:首先,使用网络数据发送程序发送数据;然后,运行spark程序;观察效果。说明:1.这里也需要设置检查点目录2.这里有四个参数:前两个分别是监听的端口和每隔多少毫秒接收一次数据;第三个参数是接收前多少毫秒的数据;(详细请参见window具体含义)第四个参数是每隔多..
分类:其他好文   时间:2015-05-31 18:45:23    阅读次数:115
Streams and .NET
http://www.codeguru.com/csharp/csharp/cs_data/streaming/article.php/c4223/Streams-and-NET.htmIn this article I will show you the classes the .NET prov...
分类:Web程序   时间:2015-05-30 14:53:21    阅读次数:135
CUDA 5 ---- GPU架构(Fermi、Kepler)
GPU架构SM(Streaming Multiprocessors)是GPU架构中非常重要的部分,GPU硬件的并行性就是由SM决定的。以Fermi架构为例,其包含以下主要组成部分:CUDA coresShared Memory/L1CacheRegister FileLoad/Store Units...
分类:其他好文   时间:2015-05-30 07:04:54    阅读次数:749
数据挖掘相关免费软件
转载自http://reader.dashuai.net/?p=100数据清理类工具DataWranglerGoogle Refine统计分析类工具The R Project for Statistical ComputingTimeFlow数据展现类工具Google Fusion TablesIm...
分类:其他好文   时间:2015-05-29 13:46:25    阅读次数:129
Spark目录
1.Spark1.0.0 应用程序部署工具spark-submit2.Spark Streaming的编程模型3.使用java api操作HDFS文件4.用SBT编译Spark的WordCount程序5.在Spark上运行TopK程序6.在Spark上运行WordCount程序7.Spark一个简单...
分类:其他好文   时间:2015-05-28 21:21:46    阅读次数:198
Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API,具有高度的一致性和强大的容错能力。基于Spark分布式计算框架,进行扩展实现了一个D-Stream的原型,称为Spark Streaming。
分类:其他好文   时间:2015-05-28 19:51:10    阅读次数:522
【hadoop】如何向map和reduce脚本传递参数,加载文件和目录
本文主要讲解三个问题: 1 使用Java编写MapReduce程序时,如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map、reduce脚本传递参数。 3 使用Streaming编写Ma...
分类:其他好文   时间:2015-05-28 19:47:59    阅读次数:433
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!