package com.sjw.flink import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.flink.configuration.Configurationimport org.apa ...
分类：
数据库 时间：
2020-07-10 00:01:11
阅读次数：
81
package com.sjw.flink import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Time object WindowTest { def m ...
分类：
其他好文 时间：
2020-07-09 23:59:55
阅读次数：
253
package com.sjw.flink.sql import org.apache.flink.api.scala._import org.apache.flink.table.api.{Table, TableEnvironment}import org.apache.flink.types. ...
分类：
数据库 时间：
2020-07-09 23:55:33
阅读次数：
145
为了统计每个窗口下最热门的商品，我们需要再次按窗口进行分组，这里根据ItemViewCount中的windowEnd进行keyBy()操作。然后使用ProcessFunction实现一个自定义的TopN函数TopNHotItems来计算点击量排名前3名的商品，并将排名结果格式化成字符串，便于后续输出 ...
分类：
其他好文 时间：
2020-07-09 22:16:52
阅读次数：
165
1.1 电商的用户行为 电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制。 电商用户行为数据多样，整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方 ...
分类：
其他好文 时间：
2020-07-09 15:13:49
阅读次数：
80
Table API是流处理和批处理通用的关系型API，Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的，Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不 ...
分类：
数据库 时间：
2020-07-09 15:03:48
阅读次数：
83
首先要实现的是实时热门商品统计，我们将会基于UserBehavior数据集来进行分析。 项目主体用Scala编写，采用IDEA作为开发环境进行项目编写，采用maven作为项目构建和管理工具。首先我们需要搭建项目框架。 2.1 创建Maven项目 2.1.1 项目框架搭建 打开IDEA，创建一个mav ...
分类：
其他好文 时间：
2020-07-09 14:59:23
阅读次数：
87
1、初识Flink Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林 ...
分类：
其他好文 时间：
2020-07-09 13:49:53
阅读次数：
59
1 搭建maven工程 flink-2019 1.1、pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.or ...
分类：
其他好文 时间：
2020-07-09 13:46:59
阅读次数：
69
Flink 的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用。本地模式在我们的 课程里面不再赘述。集群模式包含： u Standalone。 u Flink on Yarn。 u Mesos。 u Docker。 u ...
分类：
其他好文 时间：
2020-07-07 12:56:50
阅读次数：
58
