批处理代码： package com.wyh.wc import org.apache.flink.api.scala._ /** * 批处理代码 */ object WordCount { def main(args: Array[String]): Unit = { //创建一个批处理的一个环境 ...
分类：
其他好文 时间：
2020-05-11 23:28:06
阅读次数：
79
Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix ...
分类：
其他好文 时间：
2020-05-10 22:51:01
阅读次数：
98
在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或 ...
分类：
其他好文 时间：
2020-05-10 22:47:20
阅读次数：
125
Flink 的 DataSet 和 DataStream 的 API，并模拟了实时计算的场景，详细讲解了 DataStream 常用的 API 的使用。 说好的流批一体呢现状在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体 ...
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文是漫谈系列的第二篇，将从源码入手，带领大家具体剖析Alink是如何设计的，其架构如何。 ...
分类：
其他好文 时间：
2020-05-10 10:46:37
阅读次数：
68
flink用户画像（Java） 一、youfanPortraitmain（后端） 一、项目架构 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="h ...
分类：
其他好文 时间：
2020-05-07 20:05:35
阅读次数：
242
本文摘自书籍《Flink基础教程》 一、一致性的三种级别 当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，即在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比。在流处理中，一致性分为 3 个级别。 at-most-once：数据最多被 ...
分类：
其他好文 时间：
2020-05-06 22:08:07
阅读次数：
113
"Flink SQL UDF不应有状态" 这个技术细节可能有些朋友已经知道了。但是为什么不应该有状态呢？这个恐怕大家就不甚清楚了。本文就带你一起从这个问题点入手，看看Flink SQL究竟是怎么处理UDF，怎么生成对应的SQL代码。 ...
分类：
数据库 时间：
2020-04-29 23:49:34
阅读次数：
89
一、基本概念 1.窗口分类 TimeWindow：按照时间生成 Window。对于 TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（TumblingWindow）、滑动窗口（Sliding Window）和会话窗口（Session Window）。 CountWindow：按照指 ...
