五 Kafka producer 拦截器(interceptor) 5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定 制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消 ...
分类：
其他好文 时间：
2019-09-20 11:48:06
阅读次数：
73
1、先在jmeter的插件管理器安装webSocket的插件，WebSocket 常规选项解释如下: ip:测试服务器域名 Streaming Connection:请求之后是否保持连接，勾选之后在同一次 http 内继续会 话 protocol:ws/wss，wss 是在 websocket 连接 ...
分类：
Web程序 时间：
2019-09-14 11:00:53
阅读次数：
148
编程模型 ●编程模型概述 一个流的数据源从逻辑上来说就是一个不断增长的动态表格，随着时间的推移，新数据被持续不断地添加到表格的末尾。 用户可以使用 Dataset/DataFrame 函数式API或者 SQL 来对这个动态数据源进行实时查询。每次查询在逻辑上就是对当前的表格内容执行一次 SQL 查询 ...
分类：
其他好文 时间：
2019-09-11 10:16:14
阅读次数：
109
1.1.1.读取Socket数据 ●准备工作 nc -lk 9999 hadoop spark sqoop hadoop spark hive hadoop ●代码演示： import org.apache.spark.SparkContext import org.apache.spark.sql ...
分类：
其他好文 时间：
2019-09-11 10:06:19
阅读次数：
126
Structured Streaming曲折发展史 1.1. Spark Streaming 在2.0之前，Spark Streaming作为核心API的扩展，针对实时数据流，提供了一套可扩展、高吞吐、可容错的流式计算模型。Spark Streaming会接收实时数据源的数据，并切分成很多小的bat ...
分类：
其他好文 时间：
2019-09-11 10:00:22
阅读次数：
114
1.1. 计算操作 获得到Source之后的基本数据处理方式和之前学习的DataFrame、DataSet一致，不再赘述 ●官网示例代码： caseclassDeviceData(device:String, deviceType:String, signal:Double, time:DateTi ...
分类：
其他好文 时间：
2019-09-11 09:50:46
阅读次数：
90
1 StructuredStreaming的应用场景 5.输出模式 ...
分类：
其他好文 时间：
2019-09-11 09:48:46
阅读次数：
90
1.1.1.读取文本数据 spark应用可以监听某一个目录，而web服务在这个目录上实时产生日志文件，这样对于spark应用来说，日志文件就是实时数据 Structured Streaming支持的文件类型有text，csv，json，parquet ●准备工作 在people.json文件输入如下 ...
分类：
其他好文 时间：
2019-09-11 09:27:19
阅读次数：
137
Kafka是一个分布式的Streaming处理平台，Kafka可以用于数据库中数据的导入导出，也可以用于实时流的处理，但是Kafka最核心的功能就是作为分布式的消息中间件。 Kafka集群是由多个Broker Server组成的，消息的发送者称为Producer，消息的消费者称为Consumer，t ...
分类：
其他好文 时间：
2019-09-08 22:43:34
阅读次数：
161
WSO2 MSF4J 2.0已增添了对Spring、Swagger定义生成、ExceptionMapper以及StreamingOutput的支持。 WSO2 MSF4J是一种通过Java构建微服务的开源框架。根据WSO2的介绍，该框架的内存痕迹可低至25MB，启动时间不超过400ms。该框架最近发 ...
分类：
其他好文 时间：
2019-09-04 11:38:47
阅读次数：
91
