干货列表： 1、入门必读！Apache Flink 零基础系列教程，30 天成长为 Flink 大神！ https://developer.aliyun.com/article/753999?utm_content=g_1000133260 2、首次开放！阿里巴巴CIO学院独家教材《给ITer的技术 ...
分类：
其他好文 时间：
2020-06-02 13:23:17
阅读次数：
129
在使用flink run命令提交任务可能会遇到如下错误： The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main m ...
分类：
编程语言 时间：
2020-06-01 12:02:43
阅读次数：
118
###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
（1）flink的任务提交流程（无Dispatcher提交） 1、client向yarn提交application后，同时向HDFS上传flink的Jar包和配置。ResourceManager为application分配Container资源并通知对应的NodeManager启动Applicati ...
分类：
其他好文 时间：
2020-05-27 18:53:08
阅读次数：
80
原文：Flink 流式聚合性能调优指南 SQL 是数据分析中使用最广泛的语言。Flink Table API 和 SQL 使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，Flink Table API 和 SQL 是高效优化过的，它集成了许多查询优化和算子优化。但并不是所有的优化都是默认 ...
分类：
其他好文 时间：
2020-05-27 15:58:24
阅读次数：
108
https://flink.apache.org/#Flink官网此步骤(k8s)部署才需要配置文件先把Flink的所有配置文件拷贝到本地,再把本地的配置文件挂在到POD里面1.1jobmanager的配置文件vimflink-conf.yaml修改配置文件jobmanager.rpc.address:flink-jobmanager-svcjobmanager.rpc.port:6123jobm
分类：
其他好文 时间：
2020-05-27 13:48:14
阅读次数：
187
有看到一句话，我深以为然：“所有算法的终极数据结构只有两种：数组和链表！”其他所有数据结构都是数组或链表的衍生品， 不管是树还是图或者栈，至于算法就最终都落到了这两种结构的操作上，滑动窗口也不例外！滑动窗口的应用场景还是很多的： HTTP的帧传输，滑动窗口限流算法、Flink中的滑动窗口等，今天，我 ...
分类：
编程语言 时间：
2020-05-26 22:16:55
阅读次数：
103
（1）代码示例 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val env=St ...
分类：
其他好文 时间：
2020-05-26 22:09:36
阅读次数：
92
1、继承RichSinkFunction （1）首先在构造方式传入kudu的masterAddress地址、默认表名、TableSerializationSchema、KuduTableRowConverter、Properties配置对象 （2）重写open方法 初始化KuduClient对象操作 ...
分类：
其他好文 时间：
2020-05-26 20:41:12
阅读次数：
275
在Flink的官网写着：Stateful Computations over Data Streams。 基于状态计算的数据流。 在流式计算中，希望做一些聚合分析等。那么就需要保存当前日志的状态，以备与后来的日志做比较。 在Flink中每个操作都会有状态的保存无论是source、sink还是oper ...
分类：
其他好文 时间：
2020-05-26 12:38:24
阅读次数：
87
