Spark性能调优之JVM调优 通过一张图让你明白以下四个问题 1.JVM GC机制，堆内存的组成 2.Spark的调优为什么会和JVM的调优会有关联？--因为Scala也是基于JVM运行的语言 3.Spark中OOM产生的原因 4.如何在JVM这个层面上来对Spark进行调优 补充： Spark程 ...
分类：
其他好文 时间：
2017-03-11 00:58:26
阅读次数：
234
Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL NODE_LOCAL NO_PREF RACK ...
分类：
其他好文 时间：
2017-03-11 00:57:54
阅读次数：
369
在执行任何查询时，SQL Server都会将数据读取到内存，数据使用之后，不会立即释放，而是会缓存在内存Buffer中，当再次执行相同的查询时，如果所需数据全部缓存在内存中，那么SQL Server不会产生Disk IO操作，立即返回查询结果，这是SQL Server的性能优化机制。 一，主要的内存 ...
分类：
其他好文 时间：
2017-03-11 00:47:44
阅读次数：
255
2017年2月9日, 星期四 hbase性能调优案例 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除 ...
分类：
其他好文 时间：
2017-03-03 01:12:10
阅读次数：
169
1、调节reduce端缓冲区大小避免OOM异常 1.1 为什么要调节reduce端缓冲区大小 对于map端不断产生的数据，reduce端会不断拉取一部分数据放入到缓冲区，进行聚合处理； 当map端数据特别大时，reduce端的task拉取数据是可能全部的缓冲区都满了，此时进行reduce聚合处理时创 ...
分类：
其他好文 时间：
2017-02-28 18:54:56
阅读次数：
208
1、使用MapPartitions代替map 1.1 为什么要死使用MapPartitions代替map 普通的map,每条数据都会传入function中进行计算一次；而是用MapPartitions时，function会一次接受所有partition的数据出入到function中计算一次，性能较高 ...
分类：
其他好文 时间：
2017-02-27 10:39:23
阅读次数：
271
本課主題 Shuffle 是分布式系统的天敌 Spark HashShuffle介绍 Spark Consolidated HashShuffle介绍 Shuffle 是如何成为 Spark 性能杀手 Shuffle 性能调优思考 Spark HashShuffle 源码鉴赏 引言 Spark Ha ...
分类：
其他好文 时间：
2017-02-25 21:23:22
阅读次数：
288
本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让直式进入性能调优都是一个至关重要的问题，它的本质限制了我们调优到底要达到 ...
分类：
其他好文 时间：
2017-02-25 00:57:36
阅读次数：
257
1、分配更多的资源 1.1 分配的资源有：executor、cup per executor、memory per executor、driver memory 1.2 如何分配：在spark-submit提交时设置相应的参数 1.3 调节到多大（原则：能使用的资源有多大，就尽量调节到最大的大小） ...
分类：
其他好文 时间：
2017-02-23 15:49:45
阅读次数：
356
From: http://www.cocoachina.com/ios/20150408/11501.html 英文原文：raywenderlich，感谢@路塔石 的热心翻译。:) 译文链接：http://blog.jobbole.com/37984/ 写在前面 本文来自iOS Tutorial T ...
分类：
移动开发 时间：
2017-02-21 19:07:36
阅读次数：
344
