原文:http://blog.csdn.net/tanglizhe1105/article/details/51050974 背景 很多使用Spark的朋友很想知道rdd里的元素是怎么存储的,它们占用多少存储空间?本次我们将以实验的方式进行测试,展示rdd存储开销性能。 关于rdd的元素怎么存储,S ...
分类:
其他好文 时间:
2017-07-03 22:24:27
阅读次数:
186
作者:Shu, Alison Hadoop作业性能调优的两种场景: 一、用户观察到作业性能差,主动寻求帮助。 (一)eBayEagle作业性能分析器 1. Hadoop作业性能异常指标 2. Hadoop作业性能调优7个建议 (二)其他參数调优方法 二、Hadoop集群报告异常,发现个别作业导致集群 ...
分类:
其他好文 时间:
2017-07-01 00:02:35
阅读次数:
246
http://blog.csdn.net/dracotianlong/article/details/8963594 Tomcat性能调优后, 启动出现警告问题 [did not find a matching property.] Tomcat性能调优后, 启动出现警告问题 [did not fi ...
分类:
其他好文 时间:
2017-06-28 10:59:42
阅读次数:
280
XHProf是Facebook开发的性能调试工具,帮助我们的PHP程序性能调优,更加健壮。XHProf安装和使用方法将在本章讲解。XHProf是PHP的PECL扩展。没有XDeBug那些耗费资源,更加的小巧。 流程:程序开头打点,结尾打点。那么XHProf机会记录在两个点之间的所有代码响应时所耗费的 ...
分类:
Web程序 时间:
2017-06-27 23:27:01
阅读次数:
279
JVM调优(最关键参数为:-Xms-Xmx-Xmn-XX:SurvivorRatio-XX:MaxTenuringThreshold)代大小调优:避免新生代大小设置过孝避免新生代大小设置过大、避免Survivor设置过小或过大、合理设置新生代存活周期。-Xmn调整新生代大小,新生代越大通常也意味着更多对象会在minorGC阶段被回..
分类:
编程语言 时间:
2017-06-27 13:51:18
阅读次数:
101
/etc/sysconfig/network-scripts/ifcfg-eth0
servicenetworkrestart
性能调优的王道是优化资源调度,或者给更多的资源进行调度
/server/spark/spark-submit
--classcn.spark.sparkest.core.WordCountCluster
--num-executors3
--driver-memory100m
--executor-memory100m
--ex..
分类:
其他好文 时间:
2017-06-26 22:38:18
阅读次数:
115
写在前面:索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点。考虑如下情况,假设数据库中一个表有10^6条记录,DBMS的页面大小为4K,并存储100条记录。如果没有索引,查询将对整个表进行扫描,最坏的情况下,如果所有数据页都不在内存,需要读取10^4个页面,如果这10^4个页 ...
分类:
数据库 时间:
2017-06-25 21:47:01
阅读次数:
250
写在前面:索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点。考虑例如以下情况。假设数据库中一个表有10^6条记录,DBMS的页面大小为4K。并存储100条记录。假设没有索引,查询将对整个表进行扫描,最坏的情况下,假设全部数据页都不在内存,须要读取10^4个页面,假设这10^4 ...
分类:
数据库 时间:
2017-06-20 14:49:15
阅读次数:
215
前文提到过一个神器叫Resharper,功能强大。编码效率和代码质量那是蹭蹭的涨,可是神器的最大问题是太耗费资源了,每次系统提示内存不足的时候,那叫一个纠结啊。因此每次新的VS公布的时候都不由自主的查看是否增强编辑功能,不由自主的讨论一番,这次VS2015也不例外。去年微软放出Roslyn的时候,微 ...
分类:
其他好文 时间:
2017-06-18 18:14:47
阅读次数:
211
jstack可以定位到线程堆栈,根据堆栈信息我们可以定位到具体代码,所以它在JVM性能调优中使用得非常多。下面我们来一个实例找出某个Java进程中最耗费CPU的Java线程并定位堆栈信息,用到的命令有ps、top、printf、jstack、grep。 第一步先找出Java进程ID,服务器上的Jav ...
分类:
编程语言 时间:
2017-06-18 18:08:51
阅读次数:
148