spark是一个快速的内存计算框架;同时是一个并行运算的框架。在计算性能调优的时候,除了要考虑广为人知的木桶原理外,还要考虑平行运算的Amdahl定理。
木桶原理又称短板理论,其核心思想是:一只木桶盛水的多少,并不取决于桶壁上最高的那块木块,而是取决于桶壁上最短的那块。将这个理论应用到系统性能优化上,系统的最终性能取决于系统中性能表现最差的组件。例如,即使系统拥有充足的内存资源和...
分类:
数据库 时间:
2014-10-23 12:27:59
阅读次数:
357
Apache音译为阿帕奇,是北美印第安人的一个部落,叫阿帕奇族,在美国的西南部。相传阿帕奇是一个武士,他英勇善战,且战无不胜,被印第安人奉为勇敢和胜利的代表,因此后人便用他的名字为印第安部落命名,而阿帕奇族在印第安史上也以强悍著称。Apache是世界使用排名第一的Web服务器。它可以运行在几乎所有广...
分类:
Web程序 时间:
2014-10-20 22:33:43
阅读次数:
301
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionS...
分类:
其他好文 时间:
2014-10-17 18:30:05
阅读次数:
248
在SQL Server的性能调优中,有一个不可比拟的问题:那就是如何在一段需要长时间的代码或被频繁调用的代码中处理临时数据集?表变量和临时表是两种选择。记 得在给一家国内首屈一指的海运公司作SQL Server应用性能评估和调优的时候就看到过大量的临时数据集处理需求,而他们的开发人员就无法确定什么时...
分类:
数据库 时间:
2014-10-14 14:07:09
阅读次数:
268
MyEclipse性能调优初体验
简单介绍一下工作环境,MyEclipse2014,你懂的
项目中有一个基于web的工作流引擎,只要运行起来就CPU几乎耗尽(虽然看似27%,其实已经把俺4核的CPU其中一个核给完全占光了)
启动性能分析的简要方法:
项目根目录上右键
在MyEclipse Server Application的项...
分类:
系统相关 时间:
2014-10-13 19:25:37
阅读次数:
232
本文主要分享性能优化的一些博客:性能优化专题已完成五部分:性能优化总纲——性能问题及性能调优方式性能优化第三篇——Java(Android)代码优化性能优化第二篇——布局优化性能优化第一篇——数据库性能优化性能优化实例
分类:
移动开发 时间:
2014-10-10 14:51:24
阅读次数:
218
varnish cache是一款开源的高性能的缓存服务器。和老牌的Squid对比有如下优点。
1:varnish是基于内存缓存数据的,所以处理速度比Squid要快。
2:varnish支持更高的并发量,并且比Squid更加稳定。
3:varnish可以通过端口管理,而squid没有这个功能。
4: varnish的缺点就是...
分类:
其他好文 时间:
2014-10-08 12:12:55
阅读次数:
138
kettle性能调优,详细介绍转换的优化设置及步骤多线程。...
分类:
编程语言 时间:
2014-10-07 22:08:24
阅读次数:
431
Nginx默认没有开启利用多核CPU (忍不住吐槽,然怪总感觉服务器性能没充分发挥), 我们可以通过增加worker_cpu_affinity配置参数来充分利用多核CPU。CPU是任务处理,计算最关键的资源,CPU核越多,性能就越好。配置Nginx多核CPU,worker_cpu_affinity使...
分类:
其他好文 时间:
2014-10-01 22:18:41
阅读次数:
241