Flink1.10版本支持SQLDDL的特性，本文章以从kafka消费数据，写入jdbc为例介绍整个流程。具体操作如下：1.下载flink1.10的安装包并解压：https://www.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz进入flink的lib目录，采用wget或是本地下载拷贝的方式下载依赖的conne
分类：
数据库 时间：
2020-03-25 10:31:34
阅读次数：
483
关于分配器介绍内容来自 "官网" 窗口分配的概念 窗口分配程序（Window Assigners）定义如何将元素分配给窗口。 通过 或``windowAll()for non keyed streams)``指定需要的WindowAssigner。 WindowAssigner负责将每个传入元素分配 ...
分类：
其他好文 时间：
2020-03-24 12:35:41
阅读次数：
164
Flink中的状态 算子状态（Operatior State） 键控状态（Keyed State） 状态后端（State Backends） 有状态的流式处理（可以是有状态（如一段时间内温度连续上升就报警；wordcount计算）、也可以是无转态（基于某个独立数据事件做处理直接输出，来一个处理一个， ...
分类：
其他好文 时间：
2020-03-24 00:59:06
阅读次数：
293
JDK安装版本要求8.0以上 tar xf jdk-8u161-linux-x64.tar.gz -C /usr/local/ mv /usr/local/{jdk1.8.0_161,jdk} #vim /etc/profile.d/jdk.sh export JAVA_HOME=/usr/loca ...
分类：
Web程序 时间：
2020-03-23 15:14:25
阅读次数：
242
Apache Flink 的简介 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也 ...
分类：
Web程序 时间：
2020-03-23 12:36:54
阅读次数：
88
一、介绍 Flink分层组件栈 API支持 对Streaming数据类应用，提供DataStream API 对批处理类应用，提供DataSet API（支持Java/Scala） Libraries支持 支持机器学习（FlinkML） 支持图分析（Gelly） 支持关系数据处理（Table） 支持 ...
分类：
其他好文 时间：
2020-03-22 13:36:23
阅读次数：
79
使用idea开发flink报错，就是普通的读取文本内容，进行单词计数。scala版本是2.11.12，flink是1.8.1报错信息如下：Exceptioninthread“main”java.lang.NoSuchMethodError:akka.actor.ActorSystemImpl.(Ljava/lang/String;Lcom/typesafe/config/Config;Ljava/
分类：
其他好文 时间：
2020-03-20 11:07:36
阅读次数：
189
Flink设置并行度的几种方式 代码中设置setParallelism() 全局设置： env.setParallelism(3); 部分设置算子设置： sum(1).setParallelism(3) 客户端CLI设置： ./bin/flink run -p 3 修改配置文件设置/conf/fli ...
分类：
其他好文 时间：
2020-03-18 11:28:37
阅读次数：
695
前言 本文介绍如何在IDEA上快速开发基于Flink框架的DataStream程序。先直接上手！ 环境清单 案例是在win7运行。安装VirtualBox，在VirtualBox上安装Centos操作系统。所有资源都在百度云上，有需要请直接下载。安装教程基本都是傻瓜式，文章不做讲述，有需要直接网上搜 ...
分类：
其他好文 时间：
2020-03-17 00:02:47
阅读次数：
92
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-03-15 18:59:04
阅读次数：
159
