Spark 资源调度与任务调度的流程(Standalone): 启动集群后, Worker 节点会向 Master 节点汇报资源情况, Master掌握了集群资源状况。 当 Spark 提交一个 Application 后, 根据 RDD 之间的依赖关系将 Application 形成一个 DAG ...
分类：
其他好文 时间：
2019-10-24 21:25:15
阅读次数：
70
一、使用graph做好友推荐 二、用户标签数据合并Demo 测试数据 陌上花开 旧事酒浓 多情汉子 APP爱奇艺:10 BS龙德广场:8 多情汉子 满心闯 K韩剧:20 满心闯 喜欢不是爱 不是唯一 APP爱奇艺:10 装逼卖萌无所不能 K欧莱雅面膜:5 计算结果数据 (-397860375,(Li ...
分类：
其他好文 时间：
2019-10-24 21:13:08
阅读次数：
117
spark streamming 程序提交到yarn 上运行 报错 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/mnt/disk3/hadoop/yarn/local/f ...
分类：
编程语言 时间：
2019-10-24 15:51:42
阅读次数：
134
题目： 给定一个非空字符串s和一个包含非空单词列表的字典wordDict，判定s是否可以被空格拆分为一个或多个在字典中出现的单词； 注： 1、拆分时可以重复使用字典中的单词； 2、可以假设字典中没有重复的单词； 我的想法是使用回溯法，逐个查找s中可以在字典wordDict中匹配的单词 上述算法的时间 ...
分类：
其他好文 时间：
2019-10-24 09:27:28
阅读次数：
237
What is spark.python.worker.memory? Spark on YARN resource manager: Relation between YARN Containers and Spark Executors？ When running Spark on YARN, ...
分类：
其他好文 时间：
2019-10-24 00:41:17
阅读次数：
108
package Eva.homework import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructTy... ...
分类：
其他好文 时间：
2019-10-23 22:01:27
阅读次数：
159
RDD 宽窄依赖 RDD之间有一系列的依赖关系, 可分为窄依赖和宽依赖 窄依赖 从 RDD 的 parition 角度来看 父 RRD 的 parition 和 子 RDD 的 parition 之间的关系是一对一的 (或 者是多对一的)。 不会有 shuffle 产生 宽依赖 父 RRD 的 pa ...
分类：
其他好文 时间：
2019-10-23 18:02:41
阅读次数：
133
一.简介 参考博客：https://www.cnblogs.com/yszd/p/10186556.html 二.代码实现 三.结果 随机生成的顶点数据： 聚合结果： ...
分类：
其他好文 时间：
2019-10-23 16:47:20
阅读次数：
126
spark 资源调度包 Stage(阶段) 类解析 类注释: 代码: ...
分类：
其他好文 时间：
2019-10-22 23:45:51
阅读次数：
94
大数据环境与docker 在使用CDH构建在k8s上的时候遇到了异常困难的问题，其检查机制会将解析主机的IP作为目标容器的IP，导致两者无法正常安装部署，只能放弃已经做好的容器镜像，之后在不断的寻找中终于到了可以达到预期目标的方法。 首先是找到了Spark的两个容器镜像： https://hub.d ...
分类：
其他好文 时间：
2019-10-22 15:28:22
阅读次数：
141
