网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs ...
分类：
其他好文 时间：
2020-05-19 16:47:03
阅读次数：
82
Checkpoint，是Spark提供的一个比较高级的功能。有的时候啊，比如说，我们的Spark应用程序，特别的复杂，然后呢，从初始的RDD开始，到最后整个应用程序完成，有非常多的步骤，比如超过20个transformation操作。而且呢，整个应用运行的时间也特别长，比如通常要运行1~5个小时。在 ...
分类：
其他好文 时间：
2020-05-19 09:12:08
阅读次数：
88
经过一个多月来的研究实践，在亲友团的帮助下，我的第一个spark程序终于上线了，现在总结下实践历程。
分类：
其他好文 时间：
2020-05-19 01:16:57
阅读次数：
64
承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterabl ...
分类：
编程语言 时间：
2020-05-18 20:48:21
阅读次数：
83
1. 4种运行模式概述图 1）本地(local)模式，用于开发测试 2）Standalone是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署spark环境，只要修改一台机器配置，就要同步到所有的机器上去，比较麻烦，生产环境中不采取。 3） Yarn生成环境下 ...
分类：
其他好文 时间：
2020-05-18 18:12:35
阅读次数：
67
## java最新面试题2020# 一面 1. “Spark还有Ruby啊，会的挺多，既然你啥都会点咱们就不局限于Java了”2. 聊了聊美团实习的项目，聊到了Spark，然后说到了Spark相对于MapReduce的改进，然后3. “Spark熟吗”4. “那你这个需求怎么做的”5. “那咱们就从... ...
分类：
编程语言 时间：
2020-05-18 14:31:41
阅读次数：
162
distinct的底层使用reducebykey巧妙实现去重逻辑 //使用reduceByKey或者groupbykey的shuffle去重思想rdd.map(key=>(key,null)).reduceByKey((key,value)=>key) .map(_._1) ...
分类：
其他好文 时间：
2020-05-17 19:29:13
阅读次数：
147
Apache Spark Job 调优以提高性能（一） 假设你已经清楚了Spark 的 RDD 转换，Action 等内容。并且已经知道用web UI来理解为什么Job要花这么长时间时，Job、stage和task 也很清楚了。 如果不清楚可以看我的视频（。。。。） 在本文中，您将了解Spark程序 ...
分类：
其他好文 时间：
2020-05-17 17:50:13
阅读次数：
102
最近spark上机练习比较多，原先采用了虚拟机的方式做练习 第一机器性能比较差，本地体验不好 第二用vscode比较多，轻量好用又熟悉 所以周末抽时间把环境布到开发机上去 构建流程: 安装vscode 安装msys2/mingw等模拟shell环境，安装ssh相关组件 这个可以偷个懒直接装 git ...
分类：
其他好文 时间：
2020-05-16 18:39:35
阅读次数：
133
