Checkpoint，是Spark提供的一个比较高级的功能。有的时候啊，比如说，我们的Spark应用程序，特别的复杂，然后呢，从初始的RDD开始，到最后整个应用程序完成，有非常多的步骤，比如超过20个transformation操作。而且呢，整个应用运行的时间也特别长，比如通常要运行1~5个小时。在 ...
分类：
其他好文 时间：
2020-05-19 09:12:08
阅读次数：
88
经过一个多月来的研究实践，在亲友团的帮助下，我的第一个spark程序终于上线了，现在总结下实践历程。
分类：
其他好文 时间：
2020-05-19 01:16:57
阅读次数：
64
承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
历史 History 欢迎来到C语言的世界！C语言是一种强大的专业化编程语言，深受业余和专业编程人员的欢迎。 在学习之前先让我们了解和认识它！ C语言的原型是A语言（ALGOL 60语言）。 1963年，剑桥大学将ALGOL 60语言发展成为CPL(Combined Programming Lang ...
分类：
其他好文 时间：
2020-05-18 22:24:34
阅读次数：
81
BOM与DOM操作 事件 一、BOM与DOM操作 1、 BOM操作 1.1 window子对象 1.2 history对象 1.3 location对象(掌握) 1.4 弹出框 警告框 确认框 提示框 1.5 计时器相关 过一段时间之后触发(一次) 每隔一段时间触发一次(循环) 2、 DOM操作 2 ...
分类：
编程语言 时间：
2020-05-18 20:48:33
阅读次数：
57
错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterabl ...
分类：
编程语言 时间：
2020-05-18 20:48:21
阅读次数：
83
1. 4种运行模式概述图 1）本地(local)模式，用于开发测试 2）Standalone是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署spark环境，只要修改一台机器配置，就要同步到所有的机器上去，比较麻烦，生产环境中不采取。 3） Yarn生成环境下 ...
分类：
其他好文 时间：
2020-05-18 18:12:35
阅读次数：
67
BOM（Browser Object Model）是指浏览器对象模型，它使 JavaScript 有能力与浏览器进行“对话”。 DOM （Document Object Model）是指文档对象模型，通过它，可以访问HTML文档的所有元素。 ——BOM相关操作—— 一、windows对象 二、win ...
分类：
其他好文 时间：
2020-05-18 14:38:58
阅读次数：
54
## java最新面试题2020# 一面 1. “Spark还有Ruby啊，会的挺多，既然你啥都会点咱们就不局限于Java了”2. 聊了聊美团实习的项目，聊到了Spark，然后说到了Spark相对于MapReduce的改进，然后3. “Spark熟吗”4. “那你这个需求怎么做的”5. “那咱们就从... ...
分类：
编程语言 时间：
2020-05-18 14:31:41
阅读次数：
162
提示CTRL Q: 在参数列表位置，显示可以输入的所有参数。CTRL Q: 查看选中方法的文档字符串 阅读CTRL -: 折叠当前代码CTRL +: 展开当前代码CTRL SHIFT -: 折叠所有代码CTRL SHIFT +: 展开所有代码CTRL SHIFT F7: 将当前单词在整个文件中高亮， ...
分类：
其他好文 时间：
2020-05-18 14:05:15
阅读次数：
60
