package com.sjw.flink import org.apache.flink.api.scala._ object WordCount { def main(args: Array[String]): Unit = { //创建批处理执行环境 val env: ExecutionEnv ...
分类：
其他好文 时间：
2020-07-10 00:05:16
阅读次数：
84
package com.sjw.flink import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Time object WindowTest { def m ...
分类：
其他好文 时间：
2020-07-09 23:59:55
阅读次数：
253
package com.sjw.flink.sql import org.apache.flink.api.scala._import org.apache.flink.table.api.{Table, TableEnvironment}import org.apache.flink.types. ...
分类：
数据库 时间：
2020-07-09 23:55:33
阅读次数：
145
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
Table API是流处理和批处理通用的关系型API，Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的，Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不 ...
分类：
数据库 时间：
2020-07-09 15:03:48
阅读次数：
83
首先要实现的是实时热门商品统计，我们将会基于UserBehavior数据集来进行分析。 项目主体用Scala编写，采用IDEA作为开发环境进行项目编写，采用maven作为项目构建和管理工具。首先我们需要搭建项目框架。 2.1 创建Maven项目 2.1.1 项目框架搭建 打开IDEA，创建一个mav ...
分类：
其他好文 时间：
2020-07-09 14:59:23
阅读次数：
87
1 变量声明中的模式 match中每一个case都可以单独提取出来，意思是一样的. 应用案例 val (x, y) = (1, 2) val (q, r) = BigInt(10) /% 3 //说明 q = BigInt(10) / 3 r = BigInt(10) % 3 val arr = A ...
分类：
其他好文 时间：
2020-07-08 13:32:30
阅读次数：
57
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类：
其他好文 时间：
2020-07-08 13:26:09
阅读次数：
59
1 match 应用案例 Scala的模式匹配 案例代码完整: package com.atguigu.base object MatchDemo { def main(args: Array[String]): Unit = { // 模式匹配，类似于Java的switch语法 var resul ...
分类：
其他好文 时间：
2020-07-08 13:24:06
阅读次数：
49
1 匹配数组 1）Array(0) 匹配只有一个元素且为0的数组。 2）Array(x,y) 匹配数组有两个元素，并将两个元素赋值为x和y。当然可以依次类推Array(x,y,z) 匹配数组有3个元素的等等.... 3）Array(0,_*) 匹配数组以0开始 应用案例 2 匹配列表 应用案例 fo ...
分类：
其他好文 时间：
2020-07-08 13:18:41
阅读次数：
64
