一. Spark简介 1.1 前言 Apache Spark是一个计算系统，它的处理速度很快，很通用，并且能集群部署。可以通过Scala，Java，Python和R来操作API。它还提供了了一些高级工具，比如Spark SQL（通过SQL操作）,MLlib(机器学习用的)，Graphx（图形化操作用 ...
分类：
其他好文 时间：
2020-04-20 11:44:10
阅读次数：
80
package com.atguigu.bigdata.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: ...
分类：
其他好文 时间：
2020-04-19 18:04:25
阅读次数：
66
1.RDD 是spark的核心数据结构，全称是弹性分布式数据集。 本质上是一种分布式的内存抽象，表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建，RDD定义了各种丰富的转换操作，通过转换操作，新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系 ...
分类：
数据库 时间：
2020-04-19 01:15:39
阅读次数：
108
安装前准备： 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类：
其他好文 时间：
2020-04-19 00:31:12
阅读次数：
85
方法名称： // 类Method的名称：getXXX，返回值类型不应该是Unit，取一些东西，就应该明确返回值类型，该Method里面不能产生副作用。 def getName:String = {} // 推荐写法 def getName:Unit = {} // 不推荐写法 // 类Method的... ...
分类：
其他好文 时间：
2020-04-18 10:13:45
阅读次数：
80
代码洁癖 我们写代码给计算机运行，但是读代码的不仅仅是计算机，还有我们的战友（同事），还有未来的战友。 我们不能做一个猪队友，所以保证通用的代码规范是必要的。 每行代码需要有一个合理的长度 避免从左到右有很长的代码，当理解这行代码的时候会占用我们的思维。 在印刷制品中，最合理的长度在50-70个字符... ...
分类：
其他好文 时间：
2020-04-18 10:00:09
阅读次数：
82
说明 从本质上来讲，fold方法读取一种数据，然后返回给你另外一种。 fold和foldLeft和foldRight做的事同样的事情，仅有一点点不同。 fold val numbers = List(1, 2, 3, 4, 5) val res = numbers.fold(10) { (z, i)... ...
分类：
其他好文 时间：
2020-04-18 09:32:45
阅读次数：
47
简单解释 方法(method) 在OOP中，方法作用于对象，是对象的行为，Java中的方法这样的，在Scala中的方法(method)也是如此，定义method的基本格式： def 方法名称（参数列表）：返回值 = 方法体 函数(function) 在scala中，函数被看做是一等公民，定义函数基本... ...
分类：
其他好文 时间：
2020-04-18 09:28:14
阅读次数：
56
有两种模式：cluster 和 driver 区别： cluster 模式：Driver 程序在 YARN 中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如 HDFS、Redis、Mysql）而非 stdout 输出的应用程序，客户端的终端显示的仅是作为 YA ...
分类：
其他好文 时间：
2020-04-17 12:30:05
阅读次数：
70
问题：如果在 shuffle 的时候没有指定 reduce 的个数，那么会有多少个 reduce？ 如果不指定 reduce 个数的话，就按默认的走： 1、如果自定义了分区函数 partitioner 的话，就按你的分区函数来走。 2、如果没有定义，那么如果设置了 spark.default.par ...
分类：
其他好文 时间：
2020-04-17 12:23:45
阅读次数：
70
