spark动态资源调整其实也就是说的executor数目支持动态增减，动态增减是根据spark应用的实际负载情况来决定。 开启动态资源调整需要（on yarn情况下） 1.将spark.dynamicAllocation.enabled设置为true。意思就是启动动态资源功能 2.将spark.sh ...
分类：
其他好文 时间：
2020-01-22 18:07:12
阅读次数：
159
[toc] 内部类 extends 继承就代表子类可以从父类继承父类的 field 和 method ；然后子类可以在自己内部放入父类所没有，子类特有的 field 和 method，使用继承可以有效复用代码。 子类可以覆盖父类的 field 和 method，但是如果父类用 final 修饰，fi ...
分类：
其他好文 时间：
2020-01-22 13:09:21
阅读次数：
68
1、pom.xml 版本号 <properties> <hbase.version>2.2.2</hbase.version> <hadoop.version>2.10.0</hadoop.version> <spark.version>2.4.2</spark.version> </propert ...
分类：
其他好文 时间：
2020-01-22 12:57:25
阅读次数：
62
累加器 序列化 宽窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用,窄依赖我形象的比喻为独生子女 宽依指的是多个子RDD的Partition会依赖同一个父RDD的 Partition,会引起shuffle.总结:宽依我们形象的比喻为超生 DAG DAG ...
分类：
其他好文 时间：
2020-01-22 12:44:35
阅读次数：
80
日期： 2020-01-22 1.概述和安装 Scala是“可扩展语言”的缩写（SCAlable Language），与2003创建，为JVM平台上的函数式编程以及面向对象编程提供一个高性能开发环境。所以，Scala要求使用java运行时库。 在mac环境使用HomeBrew来安装scala比较方便 ...
分类：
其他好文 时间：
2020-01-22 11:09:22
阅读次数：
93
请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 文 件 保 存 为exercise2-1. ...
分类：
其他好文 时间：
2020-01-22 10:59:43
阅读次数：
192
kafka-consumer参数配置 以及默认值参数配置以及默认值Consumer 一些概念消费者 Consumerkafka 消费者，消费kafka队列里的消息，可以有多种语言实现， python java scala Go …,consumer group 即是由多个独立消费者组成，消费 Top... ...
分类：
其他好文 时间：
2020-01-21 23:50:29
阅读次数：
150
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
安装环境:Ubuntu虚拟机。 1、Scala下载：https://www.scala-lang.org/download/2.11.8.html（本教程以2.11.8版本为例） 选择第一个后缀为tgz下载。 2、解压 3、配置scala环境变量，及验证是否成功 若不知道如何编辑vim保存并退出可移 ...
分类：
系统相关 时间：
2020-01-21 18:02:08
阅读次数：
105
环境：CDH5.13.3 spark2.3 在提交任务之后，发现executor运行少量几台nodemanager，而其他nodemanager没有executor分配。 通过spark-shell模拟如下： 第一次尝试分配6个exeutor,具体如下 spark2-shell \ --driver ...
分类：
其他好文 时间：
2020-01-21 10:33:56
阅读次数：
120
