通常的认识是：Flink 流模式跑流任务，批模式跑批任务，用流模式跑离线任务也是个有意思的事情 虽然新版 Flink 已经在 sql 上实现了一定程度的流批一体，但是 DataStream 和 DataSet API 还是相差比较大的 用 Flink 跑离线任务也是机缘巧合（也是必然，毕竟我不会 S ...
分类：
其他好文 时间：
2020-09-24 21:32:07
阅读次数：
46
在之前解压的flink安装包中，创建一个软链接 ln -s flink-1.8.0 flink 配置flink的环境变量 #flink export FLINK_HOME=/opt/modules/flink export PATH=$FLINK_HOME/bin:$PATH 配置完成后，把flin ...
分类：
其他好文 时间：
2020-09-24 21:19:20
阅读次数：
44
和其他所有的计算框架一样，flink也有一些基础的开发步骤以及基础，核心的API，当前Java版本，从开发步骤的角度来讲，主要分为四大部分 一.Environment 批处理 // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getEx ...
分类：
其他好文 时间：
2020-09-21 11:51:19
阅读次数：
45
1、K8S部署架构图展示2、安装部署准备工作准备5台2c/2g/50g虚机，使用10.4.7.0/24网络预装CentOS7.6系统，做好基础优化安部部署bind9，部署自建DNS系统准备自签证书环境安装部署Docker环境，部署Harbor私有仓库3、软件分配4网络配置以7-11机为例，在11、12、21、22、200五台机上做初始化操作hostnamectlset-hostnamehdss7-
分类：
其他好文 时间：
2020-09-21 11:49:31
阅读次数：
43
在flink集群中提交了一个job报错如下大概看出是没有DataNode，这让人很奇怪 通过jps命令在主节点看到了namenode，但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类：
其他好文 时间：
2020-09-18 17:26:11
阅读次数：
71
一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica ...
分类：
其他好文 时间：
2020-09-18 03:25:46
阅读次数：
38
一致性检查点(checkpoints) flink故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝(一份快照)；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候 从检查点恢复状态 在执行流应用程序期间，flink ...
分类：
其他好文 时间：
2020-09-17 19:08:07
阅读次数：
22
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
前提 Canal上一个正式版是于2019-9-2发布的v1.1.4，笔者几个月前把这个版本的Canal推上了生产环境，部署了HA集群。过程中虽然遇到不少的坑，但是在不出问题的前提下，Canal的作用还是非常明显的。上周的一次改造上线之后，去掉了原来对业务系统订单数据通过RabbitMQ实时推送的依赖 ...
分类：
其他好文 时间：
2020-09-17 14:03:53
阅读次数：
64
