1、Spark是什么 Spark是一个高性能内存处理引擎，它提供了基于RDD的数据抽象，能够灵活处理分布式数据集 2、Spark核心概念 RDD：弹性分布式数据集，它是一个只读的、带分区的数据集合，并支持多种分布式算子。由下面5部分构成： 一组partition 每个partition的计算函数 所 ...
分类：
其他好文 时间：
2020-07-06 19:30:48
阅读次数：
57
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集 ...
分类：
其他好文 时间：
2020-07-06 16:20:23
阅读次数：
61
一 批处理 文件内容： hello world hello scala hello flink 代码： import org.apache.flink.api.scala._ object WordCount { def main(args: Array[String]): Unit = { //创 ...
分类：
其他好文 时间：
2020-07-06 16:14:13
阅读次数：
56
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
哈希表又叫散列表，这里用数组和链表实现 package com.atguigu.datastructures.hashtable import scala.util.control.Breaks._ object HashTableDemo { def main(args: Array[String ...
分类：
其他好文 时间：
2020-07-05 23:13:41
阅读次数：
64
构建二叉树；实现前序、中序、后序遍历；两种删除节点的原则 package com.atguigu.datastructures.binarytree object BinaryTreeDemo { def main(args: Array[String]): Unit = { //先使用比较简单的方 ...
分类：
其他好文 时间：
2020-07-05 23:04:02
阅读次数：
76
下面安装的六步和通过Maven安装Java项目的方式相同 如果刚安装完IDEA，直接点击[Create New Project] 左侧选择Maven，然后先勾选上部的[Create from archetype],然后右侧选择[maven-archetype-quickstart] 填写GroupI ...
分类：
其他好文 时间：
2020-07-05 19:02:22
阅读次数：
90
DAG ： 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用： 记录了RDD之间的依赖关系，即RDD是通过何种变换生成的， 如下图：RDD1是RDD2的父RDD，通过flatMap操作生成 借助RDD之间的依赖关系，可以实现数据的容错， 即子分区(子RDD)数据丢失后，可以 ...
分类：
其他好文 时间：
2020-07-05 17:29:07
阅读次数：
56
scala下载地址：https://www.scala-lang.org/download/ scala插件离线下载地址：https://plugins.jetbrains.com/plugin/1347-scala 注意点： IDEA 不直接支持Scala语言开发，要下载对应的scala的插件才可 ...
分类：
其他好文 时间：
2020-07-05 17:21:34
阅读次数：
73
RDD概述 RDD：弹性分布式数据集，初学时，可以把RDD看做是一种集合类型（和Array，List类比） RDD的特点： ①有容错性，即数据丢失是可以恢复的 ②有分区机制，可以并行的处理RDD数据 创建RDD的2种方式： ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类：
其他好文 时间：
2020-07-05 15:15:06
阅读次数：
66
