1、使用Sparkconf配置Spark 对Spark进行性能调优，通常就是修改Spark应用的运行时配置选项。 Spark中最主要的配置机制通过SparkConf类对Spark进行配置，当创建出一个SparkContext时，就需要创建出一个SparkConf实例。 Sparkconf实例包含用户 ...
分类：
其他好文 时间：
2017-09-18 12:21:12
阅读次数：
204
前言 何为性能优化？个人认为，性能优化是为了提高应用程序或系统能力为目的。那么如何才能实现对应用程序的性能调优呢？这里很设计到很多的内容，包括Linux内核、CPU架构以及Linux内核对资源的分配以及管理，了解进程的创建过程等。这方面由于篇幅较多，所以我的文章就不过多介绍。接下来的几篇文章中，都是 ...
分类：
系统相关 时间：
2017-09-17 22:18:18
阅读次数：
294
一 分配更多资源 分配更多资源：性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升，是显而易见的；基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上，如果说你的sp ...
分类：
其他好文 时间：
2017-09-16 20:30:01
阅读次数：
264
常见的做法是从两个方面进行调优： 1） 增加JVM堆内存大小 找到bin/catalina.bat，修改JAVA_OPTS参数（若没有，则在文件第一行加上）： set JAVA_OPTS="-Djava.awt.headless=true -Dfile.encoding=UTF-8 -server ...
分类：
其他好文 时间：
2017-09-12 23:08:22
阅读次数：
224
一、服务器资源 服务器所能提供CPU、内存、硬盘的性能对处理能力有决定性影响。Tomcat性能可以通过提升服务器的性能来进行调优，但一般公司不会选择这种调优方式，而使用优化配置参数来调优。 二、配置参数调优 1. JVM参数调优，即Tomcat堆虚拟内存 2、禁用DNS查询，打开压缩 3、调整线程数 ...
分类：
其他好文 时间：
2017-09-10 21:39:12
阅读次数：
213
[性能调优]PeopleSoft Trace 分析工具 - TraceMagic ...
分类：
其他好文 时间：
2017-09-09 22:34:27
阅读次数：
252
转自：http://blog.csdn.net/lifuxiangcaohui/article/details/37992725 最近因项目存在内存泄漏，故进行大规模的JVM性能调优 ， 现把经验做一记录。 一、JVM内存模型及垃圾收集算法 1.根据Java虚拟机规范，JVM将内存划分为： New（ ...
分类：
其他好文 时间：
2017-09-09 16:30:01
阅读次数：
224
合理的并行度 减少任务启动开销 选择合适的batch Duration 内存调优 设置合理的cpu数 ...
分类：
其他好文 时间：
2017-09-08 01:23:55
阅读次数：
167
通过JVM的这些选项：Xms/Xmx/PermSize/MaxPermSize可以牵扯出很多问题，比如性能调优等。 说明：以下转载没经过实践。 经验实例（参考）： 设置每个线程的堆栈大小。JDK5.0以后每个线程堆栈大小为1M，以前每个线程堆栈大小为256K。更具应用的线程所需内存大小进行调整。在相 ...
分类：
编程语言 时间：
2017-09-07 17:02:53
阅读次数：
292
