转自：https://www.cnblogs.com/dtmobile-ksw/p/11988132.html 安装Flink standalone集群 1.下载flink https://flink.apache.org/downloads.html 2.官网参考 https://ci.apach ...
分类：
其他好文 时间：
2019-12-24 11:58:40
阅读次数：
87
这里将介绍Flink对有状态计算的支持，其中包括状态计算和无状态计算的区别，以及在Flink中支持的不同状态类型，分别有 Keyed State 和 Operator State 。另外针对状态数据的持久化，以及整个 Flink 任务的数据一致性保证，Flink 提供了 Checkpoint 机制处... ...
分类：
其他好文 时间：
2019-12-24 09:20:00
阅读次数：
88
背景消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。个推在提供消息推送服务时，为了更好地了解每天的推送情况，会从不同的维度进行数据统计，生成消息报表。个推每天下发的消息推送数巨大，可以达到数
分类：
其他好文 时间：
2019-12-23 10:21:46
阅读次数：
286
前言 环境： JDK 1.8+Flink 1.6+Hadoop 2.7.3 文中若有表述不正确，欢迎大伙留言指出，谢谢！ 1、现象 使用yarn-session在yarn上启动flink集群并提交任务后，在Flink Web UI 上发现任务的state个数每十分钟左右会从0到10左右后又重复从0开 ...
分类：
其他好文 时间：
2019-12-23 00:56:48
阅读次数：
167
maven可以非常方便的管理jar包依赖问题。 这几天遇到的问题是：使用maven在idea跑flink程序提示 java.lang.ClassNotFoundExceptionjava.lang.NoClassDefFoundError 开始时通过idea project structure（快捷 ...
分类：
其他好文 时间：
2019-12-21 20:40:44
阅读次数：
87
流处理中时间本质上就是一个普通的递增字段（long型，自1970年算起的微秒数），不一定真的表示时间。 watermark只是应对乱序的办法之一，大多是启发式的，在延迟和完整性之间抉择。（如果没有延迟，就不够完整；如果有延迟，极端情况就是批处理，当然完整性足够高） org.apache.flink. ...
分类：
其他好文 时间：
2019-12-21 20:34:39
阅读次数：
82
flink on yarn模式下两种提交job方式 https://juejin.im/post/5bf8dd7a51882507e94b8b15 https://www.cnblogs.com/asker009/p/11327533.html https://ci.apache.org/proje ...
分类：
其他好文 时间：
2019-12-19 13:04:44
阅读次数：
167
WARN - The configuration 'zookeeper.connect' was supplied but isn't a known config.WARN - The configuration 'input.topic' was supplied but isn't a kno ...
分类：
其他好文 时间：
2019-12-17 11:52:26
阅读次数：
2471
目前受影响版本：version 1.9.1(最新)，官方未发布补丁。 Apache Flink仪表板- >上传恶意的JAR- >提交新工作- >getshell 生成jar包，用nc监听，上传jar包，运行 ...
分类：
编程语言 时间：
2019-12-17 00:40:21
阅读次数：
166
大约各位看官君多少也听说了Storm/Spark/Flink，这些都是大数据流式处理框架。如果一条手机组装流水线上不同的人做不同的事，有的装电池，有的装屏幕，直到最后完成，这就是典型的流式处理。如果手机组装是先全部装完电池，再交给装屏幕的组，直到完成，这就是旧式的集合式处理。今天，就来先说说JDK8 ...
分类：
编程语言 时间：
2019-12-16 15:00:46
阅读次数：
829
