一、概述 Savepoint 是检查点的一种特殊实现，底层实现其实也是使用 Checkpoint 的机制。 Savepoint 是用户以手工命令的方式触发 Checkpoint，并将结果持久化到指定的存储路径 中，其主要目的是帮助用户在升级和维护集群过程中保存系统中的状态数据，避免因为停机运维 或者 ...
分类：
其他好文 时间：
2020-06-09 14:52:23
阅读次数：
72
安装步骤 1.安装mysql数据库 安装msyql5.7 wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm yum -y install mysql57-community-release-el7-10 ...
分类：
数据库 时间：
2020-06-08 18:48:27
阅读次数：
82
场景 使用Flink，从阿里云的AMQP中获取数据，然后直接写入到InfluxDB中。即： source：amqp sink：influxdb 环境 Linux：Centos8.0 Hadoop：2.8.3 Flink：1.10.0 Java：1.8.0_77 InfluxDB：1.7.1 Rock ...
分类：
编程语言 时间：
2020-06-08 10:48:29
阅读次数：
55
RichFunction 主要有3个方法 open，close，getRuntimeContext public interface RichFunction extends Function { void open(Configuration parameters) throws Exceptio ...
分类：
其他好文 时间：
2020-06-07 19:15:41
阅读次数：
158
Checkpoint & Snapshot 检查点是Flink为流计算过程提供的容错和故障恢复机制。当程序出错时，Flink会重启受到影响的那部分算子及计算逻辑，并将它们重置到最后一次成功checkpoint时的状态。每次成功的checkpoint产生的“状态数据”其实就是这个流式计算任务在那一时刻 ...
分类：
其他好文 时间：
2020-06-07 12:38:52
阅读次数：
63
1.前言 对于做实时计算的朋友来说，资源设置都是一个比较麻烦的问题。实时计算不同于离线计算，它的任务都是并行的，启动就会一直占用集群资源，如果资源设置的过多会造成极大的浪费，设置的过少任务会不断发生failover。这里说的资源主要指的就是内存资源，所以本文对Flink的内存设置提供一些思路，尤其是 ...
分类：
其他好文 时间：
2020-06-06 16:52:23
阅读次数：
363
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。本文将为大家展现Alin... ...
分类：
编程语言 时间：
2020-06-05 23:23:35
阅读次数：
107
An Intro to Stateful Stream Processing At a high level, we can consider state in stream processing as memory in operators that remembers information a ...
分类：
Web程序 时间：
2020-06-04 21:20:14
阅读次数：
74
Ververica was founded by the original creators of Apache Flink®, and we’ve spent a long time solving problems in the stream processing space. In this ...
分类：
其他好文 时间：
2020-06-03 17:30:51
阅读次数：
66
环境部署流程 (按照需求规格说明书)(下面的操作都在虚拟机中,在菜单栏虚拟机中下载Vmware tools,将文件拖进虚拟机) 1.硬件需求配置 2.操作系统安装配置 3.jdk安装与配置--JDK的使用主要有三步：JDK软件安装、环境变量配置、验证JDK配置。 4.mysql安装与配置 5.tom ...
分类：
其他好文 时间：
2020-06-03 13:59:43
阅读次数：
126
