之前看 Flink Source 的 metrics 时候，看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码，感觉比较有意思，就仔细看下了 大致流程如下： FlinkKafKaConsuemr 的启动流程就不细讲了，直接跳到 FlinkKafkaConsumerBase.ru ...
分类：
其他好文 时间：
2020-09-17 13:20:14
阅读次数：
29
Flink常用算子代码实现 (Scala版本和Java版本) ...
分类：
编程语言 时间：
2020-09-11 16:15:56
阅读次数：
71
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
Canal使用场景 数据库备份更新 搜索引擎索引更新&建立 业务缓存的更新 充当消息组件（订单变更，商品资料变更等） Canal环境部署 搭建Mysql 配置数据库配置文件 增加以下配置信息 log-bin=mysql-bin # 启动binlog日志 binlog-format=ROW # 选择r ...
分类：
数据库 时间：
2020-08-20 19:10:01
阅读次数：
98
软件环境部署 一、部署docker-ce版本以及pip工具，并安装docker-compose工具 #yum install -y docker-ce python36-setuptools python36-pip #pip3 install docker-compose==1.23.2 二、编写 ...
分类：
其他好文 时间：
2020-08-06 17:07:57
阅读次数：
69
1 基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义 source、transform 和 sink。 具体操作流程如下： val tableEnv = ... // 创建表的执行环境 // 创建一张表，用于读 ...
分类：
数据库 时间：
2020-08-04 14:03:48
阅读次数：
83
1 简介 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在 温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 ? 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态 ...
分类：
其他好文 时间：
2020-08-03 23:29:48
阅读次数：
85
Flink (三) Flink 编程模型 流式处理WordCount： public class StreamWordCount { public static void main(String[] args) throws Exception { //创建一个流处理的执行环境 StreamExec ...
分类：
其他好文 时间：
2020-07-30 01:17:49
阅读次数：
68
安装步骤(6.8.5使用x-pack ssl方式) 1.1 环境部署 数据库部署 节点 ip 角色 Host01 192.168.1.134 Host02 192.168.1.135 Host03 192.168.1.85 1.2 安装java 安装java，确保版本在1.8以上 [root@loc ...
分类：
其他好文 时间：
2020-07-28 22:19:56
阅读次数：
202
