Spark SQL 1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点： （1）和 Spark Core 的无缝集成，可以在写整个 RDD 应用的时候 ...
分类：
其他好文 时间：
2020-05-29 19:38:34
阅读次数：
75
Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark ...
分类：
其他好文 时间：
2020-05-29 19:33:56
阅读次数：
53
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间 ...
分类：
其他好文 时间：
2020-05-29 19:20:02
阅读次数：
70
Spark GraphX 概述 1、Spark GraphX是什么？ （1）Spark GraphX 是 Spark 的一个模块，主要用于进行以图为核心的计算还有分布式图的计算。 （2）GraphX 他的底层计算也是 RDD 计算，它和 RDD 共用一种存储形态，在展示形态上可以以数据集来表示，也可 ...
分类：
其他好文 时间：
2020-05-29 19:11:36
阅读次数：
58
所谓双Value，就是两个数据集RDD之间进行操作。 1 union(otherDataset)：对源RDD和参数RDD合并后返回一个新的RDD，不会去重 val listRDD1: RDD[Int] = sc.makeRDD(1 to 5) val listRDD2: RDD[Int] = sc. ...
分类：
其他好文 时间：
2020-05-28 23:28:27
阅读次数：
71
地址 官网地址: http://spark.apache.org/ 文档查看地址: https://spark.apache.org/docs/2.1.1/ 下载地址: https://spark.apache.org/downloads.html 集群规划 首先我们要确认我们的Linux主机是否安 ...
分类：
其他好文 时间：
2020-05-28 23:25:13
阅读次数：
70
###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
问题导读：spark缓存是如何实现的？BlockManager与BlockManagerMaster的关系是什么？ 这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 defpersist（newLevel：StorageLevel）：this.type = { // Stora ...
分类：
其他好文 时间：
2020-05-27 15:59:00
阅读次数：
71
（1）代码示例 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val env=St ...
分类：
其他好文 时间：
2020-05-26 22:09:36
阅读次数：
92
