Flink运行模式分为：集群模式、单机模式 集群模式：Flink的并行度取决于配置文件中的默认值,如下如所示： 在此配置的默认值下，全局的所有算子平行度都是1，我们也可以在程序中重写这个并行度 设置方式如下： 在本地模式下：默认的并行度为CPU核数可以执行线程数的最大值。比如：一台 8核 16线程的 ...
分类：
其他好文 时间：
2020-04-11 18:11:57
阅读次数：
140
1.通过自建kafka的生产者来产生数据 /bin/kafka-console-producter.sh --broker-list 192.168.58.177:9092 --topic my_topic 数据 {"user_id": "543462", "item_id":"1715", "ca ...
分类：
数据库 时间：
2020-04-09 19:09:25
阅读次数：
458
由于工作需求要在一台机器上部署flink和kafka的测试环境, 所以用到了docker 查看内核版本, 最好为3.10版本以上 更新yum源 安装需要的软件包， yum util 提供yum config manager功能，另外两个是devicemapper驱动依赖的 设置 yum源 这里用阿里 ...
分类：
其他好文 时间：
2020-04-08 19:25:42
阅读次数：
88
最近发现有好几个同学问我这个问题,为什么我的Flink任务正常运行,数据也可以打印,而且都保存到数据库了,但是UI上面却不显示数据接收和发送的条数,我都快被问疯了,今天就给大家详细说一下这个小问题. 首先先来复现一下这个问题,我们先看下面的代码(只是一部分代码) def main(args: Arr ...
分类：
其他好文 时间：
2020-04-08 19:19:22
阅读次数：
76
ORACLE的DDL日志 推送到Kafka，并接入Flink，进行统计 本次测试的环境： 环境：docker oracle12c 日志模式：归档日志模式 archivelog 用户：scott/tiger 具有dba权限 大数据组件：kafka(默认创建好topic：flink_topic)，zoo ...
分类：
数据库 时间：
2020-04-08 16:07:45
阅读次数：
508
输入 实现 SourceFunction[...] object SourceFunctionExample { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvi ...
分类：
其他好文 时间：
2020-04-08 10:03:08
阅读次数：
78
1.有序生成 只需提取事件时间的时间戳作为水印即可。 java DataStream<MyEvent> stream = ... DataStream<MyEvent> withTimestampsAndWatermarks = stream.assignTimestampsAndWatermark ...
分类：
其他好文 时间：
2020-04-06 17:29:42
阅读次数：
298
使用netty的开源框架 Dubbo：阿里开源的高性能rpc通讯框架 RocketMQ：阿里出品的高性能消息队列 Spark：为大规模数据处理设计的一款计算引擎 Elasticsearch,Cassandra,Flink,Netty-SocketIO,Spring5,Play,Grpc... Net ...
分类：
Web程序 时间：
2020-04-06 00:28:27
阅读次数：
121
大数据安全系列的其它文章 https://www.cnblogs.com/bainianminguo/p/12548076.html 安装kerberos https://www.cnblogs.com/bainianminguo/p/12548334.html hadoop的kerberos认证 ...
分类：
其他好文 时间：
2020-04-06 00:05:43
阅读次数：
507
1、什么是触发器触发器决定了一个窗口何时可以被窗口函数处理(条件满足时触发并发出信号) 每一个WindowAssigner都有一个默认的触发器，如果默认的触发器不能满足你的需要，你可以通过调用trigger(...)来指定一个自定义的触发器 触发器有5个方法来允许触发器处理不同的事件(Trigger ...
分类：
其他好文 时间：
2020-04-05 18:15:44
阅读次数：
208
