Checkpoint & Snapshot 检查点是Flink为流计算过程提供的容错和故障恢复机制。当程序出错时，Flink会重启受到影响的那部分算子及计算逻辑，并将它们重置到最后一次成功checkpoint时的状态。每次成功的checkpoint产生的“状态数据”其实就是这个流式计算任务在那一时刻 ...
分类：
其他好文 时间：
2020-06-07 12:38:52
阅读次数：
63
###题目 在20000个数中找一个满足下列条件的最大集合： 集合中所有数之间的最大公因数是1（即两两互质） ###代码 def _2018(arr: list): # 准备工具 arr = list(set(arr)) arr.sort() size = len(arr) my_dict = {} ...
分类：
其他好文 时间：
2020-06-06 18:25:27
阅读次数：
60
一、图像梯度算法 1、图像梯度-Sobel算子 dst = cv2.Sobel(src, ddepth, dx, dy, ksize) ddepth:图像的深度 dx和dy分别表示水平和竖直方向 ksize是Sobel算子的大小 1 # *******************图像梯度算法****** ...
分类：
编程语言 时间：
2020-06-02 22:55:48
阅读次数：
79
在大型公司里，一般都会用到子网划分，来解决网络风暴的产生。也有通过子网划分来解决组播和广播的优化网络的。 本教程，通过简单的文字，让你充分了解并掌握子网划分技术，并运用到实践当中。 1 IP地址划分，以Ｃ网为例介绍，子网掩码划分。下面我们随便找个一个网段并赋上相应的子网位数。 如 192.168.1 ...
分类：
其他好文 时间：
2020-06-02 11:01:00
阅读次数：
72
原文：Flink 流式聚合性能调优指南 SQL 是数据分析中使用最广泛的语言。Flink Table API 和 SQL 使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，Flink Table API 和 SQL 是高效优化过的，它集成了许多查询优化和算子优化。但并不是所有的优化都是默认 ...
分类：
其他好文 时间：
2020-05-27 15:58:24
阅读次数：
108
我们之前学习的转换算子是无法访问时间的时间戳信息和水位线信息的。而这些在一些应用场景下，极为重要，例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStreamAPI提供了一系列的Low-Level的转换算子，可以访问时间戳、watermark以 ...
PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类：
其他好文 时间：
2020-05-22 21:35:06
阅读次数：
51
子网掩码 子网掩码(subnet mask)又叫网络掩码、地址掩码、子网络遮罩，它是一种用来指明一个IP地址的哪些位标识的是主机所在的子网，以及哪些位标识的是主机的位掩码。 例：我们常用的内网IP地址：192.168.0.100，默认子网掩码：255.255.255.0，指明前3个字节是网络位，第4 ...
分类：
系统相关 时间：
2020-05-20 18:42:47
阅读次数：
88
整型数 C++ include include using namespace std; int main() { double x = 1234567.89,y = 12.34567; int n = 12; int m = 1234567 cout include using namespace ...
分类：
编程语言 时间：
2020-05-18 09:23:01
阅读次数：
50
distinct的底层使用reducebykey巧妙实现去重逻辑 //使用reduceByKey或者groupbykey的shuffle去重思想rdd.map(key=>(key,null)).reduceByKey((key,value)=>key) .map(_._1) ...
分类：
其他好文 时间：
2020-05-17 19:29:13
阅读次数：
147
