https://files.cnblogs.com/files/wifi0/spark2.1.1example_api_sql_streaming_eclipseProject.ziphttps://files.cnblogs.com/files/wifi0/runconfig.zip 搭建代码阅读 ...
分类：
系统相关 时间：
2017-11-07 19:55:13
阅读次数：
218
在集群上的 Spark Streaming application 中获得最佳性能需要一些调整.本节介绍了可调整的多个 parameters （参数）和 configurations （配置）提高你的应用程序性能.在高层次上, 你需要考虑两件事情: 通过有效利用集群资源, Reducing the ...
分类：
其他好文 时间：
2017-11-07 18:10:29
阅读次数：
202
简介 Kafka 0.10的Spark Streaming集成设计与0.8 Direct Stream方法类似。 它提供了简单的并行性，Kafka分区和Spark分区之间的1：1对应关系，以及对偏移量和元数据的访问。 但是，由于较新的集成使用新的Kafka消费者API而不是简单的API，所以在使用上 ...
分类：
其他好文 时间：
2017-11-07 16:29:07
阅读次数：
182
调整 Spark 应用程序的内存使用情况和 GC behavior 已经有很多的讨论在 Tuning Guide 中.我们强烈建议您阅读一下.在本节中, 我们将在 Spark Streaming applications 的上下文中讨论一些 tuning parameters （调优参数）. Spa ...
分类：
其他好文 时间：
2017-11-07 16:19:20
阅读次数：
283
I remember tears streaming down your face, When I said I'll never let you go. When all those shadows almost killed your light, I remember you said don ...
分类：
其他好文 时间：
2017-11-03 20:13:37
阅读次数：
187
UWP 播放直播流 3MU8 参考：http://www.c-sharpcorner.com/UploadFile/2b876a/http-live-streaming-in-windows-10-uwp/ Create new Windows 10 project and go to MainPa ...
分类：
其他好文 时间：
2017-10-31 18:40:12
阅读次数：
244
网上用python写spark+kafka的资料好少啊 自己记录一点踩到的坑~ spark+kafka介绍的官方网址：http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html python的pyspark库函数文 ...
分类：
编程语言 时间：
2017-10-31 17:35:05
阅读次数：
358
Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。简单来说Spark是 内存迭代计 ...
分类：
其他好文 时间：
2017-10-29 15:17:07
阅读次数：
179
Spark读取网络输入的例子： 参考如下的URL进行试验 https://stackoverflow.com/questions/46739081/how-to-get-record-in-string-format-from-sockettextstreamhttp://www.cnblogs.c ...
分类：
其他好文 时间：
2017-10-29 12:44:32
阅读次数：
210
SuperMap 在9月份发布了结合大数据技术的9D新产品，今天就和大家介绍下iServer9D中的实时数据服务。 1、技术框架 结合Spark的streaming流处理框架，将各种数据进行批量处理、存储。 2、处理的流程 iServer9D的实时数据服务可以通过各种通讯协议对来自互联网、物联网等实 ...
分类：
其他好文 时间：
2017-10-27 18:08:34
阅读次数：
739
