DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD
分类：
其他好文 时间：
2020-05-24 10:00:38
阅读次数：
88
参考文章： https://blog.csdn.net/a1728351227/article/details/103638106 实现游戏的存读档有三个方式二进制方法XMLJSON对比二进制方法：简单，但可读性差。XML：可读性强，但是文件庞大，冗余信息多。JSON：数据格式比较简单，易于读写，但 ...
分类：
编程语言 时间：
2020-05-12 09:47:42
阅读次数：
234
类定义：class HttpResponse[source] HttpResponse类定义在django.http模块中。 HttpRequest对象由Django自动创建，而HttpResponse对象则由程序员手动创建. 我们编写的每个视图都要实例化、填充和返回一个HttpResponse对象 ...
分类：
Web程序 时间：
2020-05-06 10:22:00
阅读次数：
79
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类：
Web程序 时间：
2020-05-05 18:21:50
阅读次数：
79
1 package com.bawei.stream 2 3 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} 4 import org.apache.spark.streaming.{Seconds, ...
分类：
其他好文 时间：
2020-05-05 18:01:51
阅读次数：
55
本篇参考：https://developer.salesforce.com/blogs/2018/07/which-streaming-event-do-i-use.html https://trailhead.salesforce.com/content/learn/modules/platfor ...
分类：
其他好文 时间：
2020-05-03 00:46:44
阅读次数：
83
流计算概述 流数据是指在时间分布上和数量上无线的一系列动态数据集合。数据记录是流数据的最小组成单元。 流数据特征 数据快速持续到达，无穷无尽 数据来源众多，格式复杂 数据量大，不关心存储 注重数据的整体价值，不过分关注个别数据 数据顺序颠倒或者不完整 流计算 流数据被处理后，一部分进入数据库成为静态 ...
分类：
其他好文 时间：
2020-05-01 17:08:46
阅读次数：
96
DStream接收socket数据统计 安装并启动生产者 #在linux系统上安装nc工具，利用它向某个端口发送数据 yum -y install nc #执行发送数据命令 nc -lk port 执行streaming依赖 <dependency> <groupId>org.apache.spar ...
分类：
其他好文 时间：
2020-04-30 19:37:50
阅读次数：
83
spark批处理模式： receiver模式：接收数据流，负责数据的存储维护，缺点：数据维护复杂（可靠性，数据积压等），占用计算资源（core，memory被挤占） direct模式：数据源由三方组件完成，spark只负责数据拉取计算，充分利用资源计算 window计算： def windowApi ...
分类：
其他好文 时间：
2020-04-29 14:30:19
阅读次数：
68
//练习sparkstreaming监听socket端口 //手写wordcount java代码 package com.swust.streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.Jav ...
分类：
其他好文 时间：
2020-04-23 11:49:08
阅读次数：
59
