DataStream API（一） 在了解DataStream API之前我们先来了解一下Flink API的构成。Flink API是分层的。由最底层的Stateful Stream Process到最顶层的SQL分为四层。如下图： DataStream API 顾名思义，就是DataStream ...
1.官网下载jar包： https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz 2.上传jar包并且解压： 3.进入/flink-1.10.1/conf/flink-conf.y ...
分类：
系统相关 时间：
2020-07-16 00:06:51
阅读次数：
96
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
Flink的部署模式，有Local、Cluster和Cloud模式，本案例，在Local模式下分析，Flink的DataStream流处理应用程序的运行流程 1、自定义DataStream的应用程序，执行execute方法 1.1、初始化StreamExecutionEnvironment，在loc ...
分类：
其他好文 时间：
2020-07-14 00:19:14
阅读次数：
71
1. 安装filnk 由于是mac,所以直接使用brew工具下载软件，执行以下命令 brew install apache-flink 2. 启动flink,先进去bin目录,然后启动flink cd /usr/local/Cellar/apache-flink/1.10.0/libexec/bin ...
分类：
其他好文 时间：
2020-07-12 19:04:53
阅读次数：
79
Apache Flink是近几年大火的数据处理引擎。受到各大厂商的推崇并且已经应用与实际的业务场景中。很多公司在进行选型的时候都会选择Apache Flink作为选型的对象。
分类：
编程语言 时间：
2020-07-12 14:50:44
阅读次数：
63
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将介绍线性回归在Alink中是如何实现的，希望可以作为大家看线性回归代码的Roadmap。 ...
分类：
其他好文 时间：
2020-07-11 09:32:53
阅读次数：
65
package com.sjw.flink import java.util.{Properties, Random} import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink ...
分类：
其他好文 时间：
2020-07-10 00:44:51
阅读次数：
89
package com.sjw.flink import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkF ...
分类：
其他好文 时间：
2020-07-10 00:43:32
阅读次数：
74
package com.sjw.flink import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apach ...
分类：
其他好文 时间：
2020-07-10 00:36:15
阅读次数：
78
