Spark Streaming对实时数据流进行分析处理,源源不断的从数据源接收数据切割成一个个时间间隔进行处理; 流处理与批处理有明显区别,批处理中的数据有明显的边界、数据规模已知;而流处理数据流并没有边界,也未知数据规模; ...
分类:
其他好文 时间:
2020-01-19 22:12:37
阅读次数:
148
Azure Media Services -可提供视频点播(VOD) ...
分类:
其他好文 时间:
2020-01-16 11:04:43
阅读次数:
79
Spark SQL:数据库 Spark Streaming:流计算框架 GraphX:图计算框架 使用语言开发: SCALA语言学习(与Java完全兼容) 编程范式: 1,命令式语言:C,C++,Java...基于冯.诺依曼体系结构 2,函数式语言:充分利用多核CPU多线程并发能力 基于λ演算,并发 ...
分类:
其他好文 时间:
2020-01-14 23:47:05
阅读次数:
92
Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等 ...
分类:
其他好文 时间:
2020-01-14 20:27:58
阅读次数:
196
1.简介 RocketMQ is a distributed messaging and streaming platform with low latency, high performance and reliability, trillion level capacity and flexib ...
分类:
其他好文 时间:
2020-01-12 21:41:26
阅读次数:
105
================================可用作时序的数据库:================================[时序]TimescaleDB, 基于 PostgreSQL, 支持 SQL.[时序]KairosDB, 基于 Cassandra, 不支持 SQL. ...
分类:
数据库 时间:
2020-01-12 18:38:07
阅读次数:
93
1,从数据处理到人工智能。 数据表示 ->数据清洗->数据统计->数据可视化->数据挖掘->人工智能 数据表示:采用合适方式用程序表达数据。 数据清理:数据归一化,数据转换,异常值处理。 数据统计:数据的概要理解,数量。分布。中位数等。 数据可视化:直观展示数据内涵的方式。 数据挖掘:从数据分析获得 ...
分类:
编程语言 时间:
2020-01-10 20:03:04
阅读次数:
117
1.代码 import java.utilimport org.apache.flink.api.common.functions.RuntimeContextimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironment ...
分类:
其他好文 时间:
2020-01-10 15:57:24
阅读次数:
282
1.代码 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.connectors.redis.RedisSinkimport org.apac ...
分类:
其他好文 时间:
2020-01-10 14:09:06
阅读次数:
210
导读目录 第一节:sparksql 1:简介 2:核心 3:与hive整合 4:dataFrame 5:函数 第二节:spark Streaming 1:对比strom 2:DStream的算子 3:代码 4:driver HA 5:读取数据 第三节:spark调优 第一节:sparksql (1) ...
分类:
数据库 时间:
2020-01-09 20:46:58
阅读次数:
91