基本思想 与flink流的join原理不同的是，Spark双流join是对俩个流做满外连接 ，因为网络延迟等关系，不能保证每个窗口中的数据key都能匹配上，这样势必会出现三种情况：（some，some），（None，some），（Some,None）,根据这三种情况，下面做一下详细解析： （some ...
分类：
其他好文 时间：
2020-06-15 21:21:14
阅读次数：
156
1、目的 启动Flink任务方法的命令为 flink run flink.jar 但是有时候启动时需要向里面传入一些参数，比如配置文件的路径等。 2、带参执行命令 首先在代码中配置： ParameterTool parameters = ParameterTool.fromArgs(args); S ...
分类：
其他好文 时间：
2020-06-14 20:33:05
阅读次数：
322
1、Failure Rate Restart Strategy 说明 故障率重启策略，flink提供的一种比较"智能"的重启策略；即当任务的失败率上升到一定的程度时，flink认为本次任务最终是失败的； 也可以理解为，在该策略中，flink关注的点是任务的失败率，失败率计算公式如下： 失败率 = 失 ...
分类：
其他好文 时间：
2020-06-13 14:36:14
阅读次数：
156
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将为大家展现Alink如何划分训练数据集和测试数据集。 ...
分类：
其他好文 时间：
2020-06-12 22:54:10
阅读次数：
95
0x00 摘要 Groupby和reduce是大数据领域常见的算子，但是很多同学应该对其背后机制不甚了解。本文将从源码入手，为大家解析Flink中Groupby和reduce的原理，看看他们在背后做了什么。 0x01 问题和概括 1.1 问题 探究的原因是想到了几个问题 ： groupby的算子会对 ...
分类：
Web程序 时间：
2020-06-12 19:57:02
阅读次数：
75
1. Caused by: java.lang.RuntimeException: Row arity of from does not match serializers. at org.apache.flink.api.java.typeutils.runtime.RowSerializer.c ...
分类：
其他好文 时间：
2020-06-12 11:09:07
阅读次数：
129
Flink：ApacheFlink是一个计算框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视
分类：
其他好文 时间：
2020-06-11 21:28:52
阅读次数：
114
Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。 Apache Spark简介 Apache Spark是为快速计算而设计的开源，闪电般快速的集群计算框架。Apache Spa ...
分类：
Web程序 时间：
2020-06-11 19:59:25
阅读次数：
79
解释 官方文档中: The difference between min and minBy is that min returns the minimum value, whereas minBy returns the element that has the minimum value in ...
分类：
其他好文 时间：
2020-06-10 12:58:08
阅读次数：
127
1. API基本概念 Flink程序可以对分布式集合进行转换（例如： filtering, mapping, updating state, joining, grouping, defining windows, aggregating） 集合最初是从源创建的（例如，从文件、kafka主题或本地内 ...
