1.4GT调优 Stackoverflow有一则关于4GT提问:http://stackoverflow.com/questions/2883206/maximum-size-of-application-memory-space-on-32-x86-2-gb-or-1-gb/2883252#28....
Spark特别适用于多次操作特定的数据,分mem-only和mem & disk。其中mem-only:效率高,但占用大量的内存,成本很高;mem
& disk:内存用完后,会自动向磁盘迁移,解决了内存不足的问题,却带来了数据的置换的消费。Spark常见的调优工具有nman、Jmeter和Jprofile,以下是Spark调优的一个实例分析:
1、场景:精确客户群
对一个容量为300g的客...
分类:
其他好文 时间:
2014-08-09 23:19:39
阅读次数:
301
堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下...
分类:
其他好文 时间:
2014-08-08 11:50:05
阅读次数:
268
内存泄漏及解决方法 1.系统崩溃前的一些现象:每次垃圾回收的时间越来越长,由之前的10ms延长到50ms左右,FullGC的时间也有之前的0.5s延长到4、5sFullGC的次数越来越多,最频繁时隔不到1分钟就进行一次FullGC年老代的内存越来越大并且每次FullGC后年老代没有内存被释放 之后系...
分类:
编程语言 时间:
2014-08-07 22:34:18
阅读次数:
367
maven坐标和依赖详解,
maven依赖的调优技术
maven依赖配置的最佳实践
maven配置的常见问题的解决方案...
分类:
其他好文 时间:
2014-08-06 22:54:42
阅读次数:
444
写在前面:索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点。考虑如下情况,假设数据库中一个表有10^6条记录,DBMS的页面大小为4K,并存储100条记录。如果没有索引,查询将对整个表进行扫描,最坏的情况下,如果所有数据页都不在内存,需要读取10^4个页面,如果这10^4个页...
分类:
数据库 时间:
2014-08-06 01:44:30
阅读次数:
276
堆大小设置 JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在...
分类:
其他好文 时间:
2014-08-05 14:30:29
阅读次数:
234
堆大小设置JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在WindowsServer2003系统,3.5G物理内存,JDK5.0下测试,最大可设置..
分类:
其他好文 时间:
2014-08-05 03:08:49
阅读次数:
217
D/dalvikvm: , , ,
每隔一段时间,系统回收器都会打印内存回收的情况。日志的内容格式就是上面那条格式。下面是详细说明
>
D/dalvikvm( 9050): GC_CONCURRENT freed 2049K, 65% free 3571K/9991K, external 4703K/5261K, paused 2ms+2ms
GC Reason GC回收原因(是什么触...
分类:
其他好文 时间:
2014-08-04 21:45:48
阅读次数:
296
在机器学习的应用背景是多种多样的,做实际工程必须学会如何根据 具体的问题评估一个学习模型的好坏,如何合理地选择模型、提取特征,如何进行参数调优。这些也是我以前做模式识别时欠缺的环节,所以在遇到识别率很低的情 况时,往往很困惑,不知道该如何改进:到底是应该改进模型改变特征、还是应该增加训练样本数量,到...
分类:
其他好文 时间:
2014-08-03 23:00:26
阅读次数:
287