一、介绍 Flink分层组件栈 API支持 对Streaming数据类应用,提供DataStream API 对批处理类应用,提供DataSet API(支持Java/Scala) Libraries支持 支持机器学习(FlinkML) 支持图分析(Gelly) 支持关系数据处理(Table) 支持 ...
分类:
其他好文 时间:
2020-03-22 13:36:23
阅读次数:
79
| 文件扩展名 | Content Type(Mime Type) | 文件扩展名 | Content Type(Mime Type) | | : | : | : | : | | . ( 二进制流,不知道下载文件类型) | application/octet stream | .tif | imag ...
分类:
Web程序 时间:
2020-03-18 15:50:26
阅读次数:
88
3 月 17 日,JDK/Java 14 正式 GA。 此版本包含的 JEP(Java/JDK Enhancement Proposals,JDK 增强提案)比 Java 12 和 13 加起来的还要多。总共 16 个新特性如下: 305:Pattern Matching for instanceo ...
分类:
编程语言 时间:
2020-03-18 13:41:12
阅读次数:
76
服务器运行环境:spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单,kafka只有固定topics,所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类:
其他好文 时间:
2020-03-18 11:45:06
阅读次数:
53
一、Jupyter Notebook 简介(百度百科) Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等 二、Jupyter Noteboo ...
异常 java.lang.NoClassDefFoundError: org/apache/flink/streaming/util/serialization/DeserializationSchema ...
分类:
编程语言 时间:
2020-03-01 00:07:36
阅读次数:
305
pandas基础 pandas:主要进行数据清理和数据分析 1、pandas数据结构 1.1 Series 1.1.1 Series可以是一种一维 数组型对象 。 包含一个值序列,并且包含数据标签,称为索引(index)。 + 创建Series 创建Series,不指定索引或指定索引 obj = p ...
分类:
编程语言 时间:
2020-02-29 13:17:53
阅读次数:
81
DOM|SAX|JDOM DOM SAX "推"式流模型, JDOM Java based Document Object Model, DOM4J Document Object Model for Java StAX Streaming API for XML: ,"拉"式流模型,JDK1.6新 ...
分类:
编程语言 时间:
2020-02-26 01:35:39
阅读次数:
79
3.数据预处理: 在现实社会中的数据往往存在噪声数据、缺失值和不一致数据的问题。为了提高数据挖掘工作的效率和准确性,需要使用数据清理、数据集成、数据归约和数据变换等方法对数据进行预处理操作。 数据质量的三个要素是:准确性、完整性和一致性。 3.1 数据清理 数据清理试图填充缺失值、光滑噪声并识别离群 ...
分类:
其他好文 时间:
2020-02-26 01:19:33
阅读次数:
75
```package flinkimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.api.scala._case class SensorReading(id: ... ...