Spark SQL 1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点： （1）和 Spark Core 的无缝集成，可以在写整个 RDD 应用的时候 ...
分类：
其他好文 时间：
2020-05-29 19:38:34
阅读次数：
75
Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark ...
分类：
其他好文 时间：
2020-05-29 19:33:56
阅读次数：
53
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间 ...
分类：
其他好文 时间：
2020-05-29 19:20:02
阅读次数：
70
Spark GraphX 概述 1、Spark GraphX是什么？ （1）Spark GraphX 是 Spark 的一个模块，主要用于进行以图为核心的计算还有分布式图的计算。 （2）GraphX 他的底层计算也是 RDD 计算，它和 RDD 共用一种存储形态，在展示形态上可以以数据集来表示，也可 ...
分类：
其他好文 时间：
2020-05-29 19:11:36
阅读次数：
58
Hadoop 简介： 两大核心：HDFS+MapReduce Hadoop1.0，Hadoop2.0 Linux：基础 shell，sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式：就是吧名称 ...
分类：
其他好文 时间：
2020-05-29 17:44:12
阅读次数：
71
Visual Studio 默认有三个主题，在我们刚开始安装 Visual Studio 的时候就能看到颜色主题，分别有浅色、深色、蓝色，如下图： 推荐使用深色，比较护眼，毕竟程序猿不是躲过了秃顶也逃不过戴眼镜的节奏，还是老命要紧； 一.设置Visual Studio颜色主题 1.打开Visual ...
分类：
其他好文 时间：
2020-05-28 23:47:13
阅读次数：
69
所谓双Value，就是两个数据集RDD之间进行操作。 1 union(otherDataset)：对源RDD和参数RDD合并后返回一个新的RDD，不会去重 val listRDD1: RDD[Int] = sc.makeRDD(1 to 5) val listRDD2: RDD[Int] = sc. ...
分类：
其他好文 时间：
2020-05-28 23:28:27
阅读次数：
71
地址 官网地址: http://spark.apache.org/ 文档查看地址: https://spark.apache.org/docs/2.1.1/ 下载地址: https://spark.apache.org/downloads.html 集群规划 首先我们要确认我们的Linux主机是否安 ...
分类：
其他好文 时间：
2020-05-28 23:25:13
阅读次数：
70
前言 一个简单的理解：把SQL的一些操作应用在hadoop的HDFS上面。 数据库与数据仓库 数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分 ...
分类：
其他好文 时间：
2020-05-28 23:08:21
阅读次数：
62
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默 ...
分类：
其他好文 时间：
2020-05-28 18:13:32
阅读次数：
84
