api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appName("DataFrameCase").master("lo ...
今天学习了单向链表的实现，记录一下，方便以后查看~ import util.control.Breaks._ object SingleLinkedListDemo { def main(args: Array[String]): Unit = { //创建和遍历 val singleLinkedL ...
分类：
其他好文 时间：
2020-05-19 23:10:25
阅读次数：
74
闭包与内部类 中英文社区中，比较常见的对闭包的定义是 ` 引用了自由变量的一段代码或函数，被引用的自由变量和函数（一段代码）共同存在，即使离开了创造它的环境 ` 内部类 按照我的理解，scala/java中虽然并不存在语法级地支持或是定义，对于闭包而言，一些概念和闭包的概念一致。一般理解scala中 ...
分类：
其他好文 时间：
2020-05-19 22:50:04
阅读次数：
62
1.查看scala版本 2.登入scala网站进行下载源码包 网站： 官网scala：https://www.scala-lang.org/download/ 官网scala2.11.8版本：https://www.scala-lang.org/download/2.11.8.html 3.解压压缩 ...
分类：
其他好文 时间：
2020-05-19 20:13:49
阅读次数：
111
在程序中，程序运行的流程控制决定程序是如何执行的，有三大流程控制语句。 顺序控制 分支控制 循环控制 顺序控制 顺序控制介绍 程序从上到下逐行地执行，中间没有任何判断和跳转。 顺序控制举例和注意事项 Scala中定义变量时采用合法的前向引用。如： def main(args : Array[Stri ...
分类：
其他好文 时间：
2020-05-19 18:53:45
阅读次数：
62
网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs ...
分类：
其他好文 时间：
2020-05-19 16:47:03
阅读次数：
82
Checkpoint，是Spark提供的一个比较高级的功能。有的时候啊，比如说，我们的Spark应用程序，特别的复杂，然后呢，从初始的RDD开始，到最后整个应用程序完成，有非常多的步骤，比如超过20个transformation操作。而且呢，整个应用运行的时间也特别长，比如通常要运行1~5个小时。在 ...
分类：
其他好文 时间：
2020-05-19 09:12:08
阅读次数：
88
经过一个多月来的研究实践，在亲友团的帮助下，我的第一个spark程序终于上线了，现在总结下实践历程。
分类：
其他好文 时间：
2020-05-19 01:16:57
阅读次数：
64
承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
Kafka是什么 Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且基于ZooKeeper协调的内部基础设置，现已捐献给Apache基金会。Kafka是一个流平台，主要用来发布和订阅数据流，是流式数据处理的利器。Kafka用于构建实时数据管道和流应用程序，具有 ...
分类：
其他好文 时间：
2020-05-18 20:50:54
阅读次数：
67
