怎样提高Spark Streaming的性能 1、创建多个接收器 待定：： 2、调节每一个batch interval的数据块的数量，其实就是调整上面第二个问题中提到的配置spark.streaming.blockInterva 待定：： 3、调整Recevier每秒接收数据的速率 待定：： 4、通 ...
分类：
其他好文 时间：
2019-11-29 18:14:33
阅读次数：
86
累加器： 场景：各种计数问题，这个计算需要在driver端合并。 作用：解决Driver端和Execute端数据共享问题。 如图，需要将Driver端变量备份到Executor端，那么copy到Executor端的变量一定要是Executor级别的变量。那么如何自定义一个累加器呢，如何将累加器数据类 ...
分类：
其他好文 时间：
2019-11-23 22:10:42
阅读次数：
133
什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理 Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的T ...
分类：
其他好文 时间：
2019-11-21 13:56:11
阅读次数：
103
本文翻译自官网： Time Attributes https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/time_attributes.html Flink能够根据不同的时间概念处理流数据。 P ...
分类：
数据库 时间：
2019-11-13 11:10:55
阅读次数：
116
https://blog.csdn.net/wangjiangrong/article/details/89671861 前言昨天面试，面试官问了些有关AB包相关的知识点，问到了有关AB加密的问题，由于之前没有了解过，而且感觉是一个蛮重要的一个环节。所以今天查了查相关知识，记录一下（要是不对的地方， ...
分类：
编程语言 时间：
2019-11-07 13:04:09
阅读次数：
93
特征： 持续到达，数据量大，注重数据整体价值，数据顺序可能颠倒，丢失，实时计算， 海量，分布，实时，快速部署，可靠 linked in Kafka spark streaming：微小批处理，模拟流计算，秒级响应 DStream 一系列RDD 的集合 支持批处理 创建文件流 10代表每10s启动一次 ...
分类：
其他好文 时间：
2019-11-05 18:49:38
阅读次数：
98
压抑了这么久了，是时候来一啵活动了。 为了感谢朋友们一直以来的支持，今天米兜得到一位既是主编也是粉丝的支持，将赠送来自这位朋友编写的一本书籍《Hive数据仓库企业级应用》。此书真心推荐朋友们阅读。 本次赠书活动规则： 第一阶段：11月2日 11月8日，将从点击本文在看且转发朋 ...
分类：
其他好文 时间：
2019-11-03 12:45:10
阅读次数：
80
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
0)摘要 主要介绍了Spark Streaming整合Kafka，两种整合方式：Receiver-based和Direct方式。这里使用的是Kafka broker version 0.8.2.1，官方文档地址：（http://spark.apache.org/docs/2.2.0/streamin ...
分类：
其他好文 时间：
2019-10-31 23:40:35
阅读次数：
97
所有文章 https://www.cnblogs.com/lay2017/p/11740855.html 正文 上一篇文章中，我们创建了一个ClientHttpRequest的实例。本文将继续阅读ClientHttpRequest的执行逻辑。 再次回顾一下restTemplate核心逻辑的代码 Cl ...
分类：
Web程序 时间：
2019-10-26 15:29:27
阅读次数：
139
