实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们需要实时数据的接入端，我们选择高扩展性、容错性、速度极快的消息系统Kafka，而实时数据仓库，由于 Druid提供了非常方便快捷配置方式，如果不想编写负责的Flink和 ...
分类：
其他好文 时间：
2020-04-28 14:53:34
阅读次数：
59
说一个小bug，解决echarts的叠堆折线图数据出现坐标和值对不上的问题。 在echarts的叠堆折线图中，有这样的一个问题，从后端请求过来的数据是正确的，但是请求的y轴的值和y轴坐标对不上。 这个时候，查看了一下代码，因为是三条折线叠堆，打开代码看了一下属性 发现stack的值都是一样的，因此， ...
分类：
其他好文 时间：
2020-04-26 15:29:14
阅读次数：
67
本文将简述Flink SQL / Table API的内部实现，为大家把 "从SQL语句到具体执行" 这个流程串起来。并且尽量多提供调用栈，这样大家在遇到问题时就知道应该从什么地方设置断点，对整体架构理解也能更加深入。 ...
分类：
数据库 时间：
2020-04-25 10:52:10
阅读次数：
119
一、Source 代码地址：https://gitee.com/nltxwz_xxd/abc_bigdata 1.1、flink内置数据源 1、基于文件 env.readTextFile("file://path") env.readFile(inputFormat, "file://path"); ...
分类：
其他好文 时间：
2020-04-24 21:42:02
阅读次数：
85
一、KafkaSink 1、按流内容分发到对应topic，隔天自动切换 在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造 具体实现思路如 ...
分类：
其他好文 时间：
2020-04-22 19:44:07
阅读次数：
183
1.拆分流 代码片段： val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val streamFromFile = env.readTextFile("C:\\Users\\Mi\\D ...
分类：
其他好文 时间：
2020-04-20 23:18:43
阅读次数：
86
核心代码： object TransformTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1 ...
分类：
其他好文 时间：
2020-04-19 23:43:32
阅读次数：
337
1、新建一个窗口算子需指定两个窗口组件 1）窗口分配器（window assigner），决定如何划分窗口，比如每5秒一个窗口（左闭右开区间），按照事件时间或者处理时间划分； 2）窗口函数，决定如何处理窗口中的元素 2、DataStream API 中的多种内置窗口分配器 1）滚动窗口（Tumbli ...
分类：
其他好文 时间：
2020-04-19 22:13:10
阅读次数：
81
创建完成Flink QuickStart 项目后，如果直接导入IDEA中运行或调试会报出如下错误 Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.datastream.DataStream 这是由 ...
分类：
其他好文 时间：
2020-04-13 12:16:54
阅读次数：
404
在 Flink 1.10 的 Table API 和 SQL 中，表支持的格式有四种： CSV Format JSON Format Apache Avro Format Old CSV Format 官网地址如下：https://ci.apache.org/projects/flink/flink ...
分类：
数据库 时间：
2020-04-12 16:05:50
阅读次数：
287
