参考： https://blog.csdn.net/Snoopy_Yuan/article/details/75808006 ...
分类：
移动开发 时间：
2019-10-29 13:54:46
阅读次数：
145
Spark（二）算子讲解 @[toc] 一、wordcountcount 基于上次的wordcount，我们来写一个wordcountcount，来对wc程序进行第二次计数，我们来分析一下性能。 通过性能图，我们可以知道： 1.Spark如果不对其结果进行存储或输出，那么Spark将不会处理map或 ...
分类：
其他好文 时间：
2019-10-28 14:58:09
阅读次数：
76
Java版Kafka使用及配置解释 一.Java示例 kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。 引入Maven库 首先我们需要新建一个maven项目，然后在pom中引用kafka ja ...
分类：
编程语言 时间：
2019-10-28 12:25:31
阅读次数：
67
一：Spark的性能优化，主要手段包括：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9、reduceByKey和groupByKey的合理使用10 ...
分类：
其他好文 时间：
2019-10-27 22:29:23
阅读次数：
59
一个job对应一个action操作，action执行会有先后顺序； 每个job执行会先构建一个DAG路径，一个job会含有多个stage，主要逻辑在DAGScheduler。 spark提交job的源码见（SparkContext.scala的runJob方法）： DAGScheduler--job ...
分类：
其他好文 时间：
2019-10-27 17:08:08
阅读次数：
115
1、避免创建重复的RDD和不必要的内存空间浪费 错误代码： 错误解析： 这种情况下，Spark需要从文件中加载两次hello.txt文件的内容，并创建两个单独的RDD；第二次加载HDFS文件以及创建RDD的性能开销，很明显是白白浪费掉的 正确代码： 2、尽最大可能复用同一个RDD 错误代码： 错误解 ...
分类：
其他好文 时间：
2019-10-27 15:04:12
阅读次数：
103
1、首先我们编写完类打成jar包提交到集群上，然后用spark-submit提交任务。提交任务可以分为集群和本地模式（集群：spark-submit --master spark：//master：7077 --class 全类名 jar包路径 需要的参数）（本地：spark-submit --cl ...
分类：
其他好文 时间：
2019-10-27 12:54:30
阅读次数：
86
Spark 内存管理 Spark 执行应用程序时, 会启动 Driver 和 Executor 两种 JVM 进程 Driver 负责创建 SparkContext 上下文, 提交任务, task的分发等。 Executor 负责 task 的计算任务, 并将结果返回给 Driver, 同时需要为需 ...
分类：
其他好文 时间：
2019-10-26 15:35:36
阅读次数：
95
物理像素：设备屏幕实际拥有的像素点。比如iPhone 6的屏幕在宽度方向有750个像素点，高度方向有1334个像素点，所以iPhone 6 总共有750*1334个物理像素。 逻辑像素：也叫“设备独立像素”（Device Independent Pixel, DIP），可以理解为反映在CSS/JS代 ...
分类：
其他好文 时间：
2019-10-26 15:27:45
阅读次数：
79
百度云分享了很多软件的链接，专门用一篇文章记录 一：window JDK安装包 1.8版本：https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2g SCALA安装包：https://pan.baidu.com/s/17f8AiS2n_g5kiQhxf7XIlA ...
分类：
其他好文 时间：
2019-10-26 13:24:11
阅读次数：
81
