第一:提高并行度 并行度就是Spark作业中,各个stage的task数量,也就代表了Spark作业的在各个阶段(stage)的并行度。 第一:提高并行度 并行度就是Spark作业中,各个stage的task数量,也就代表了Spark作业的在各个阶段(stage)的并行度。 如果不调节并行度,导致并 ...
分类:
其他好文 时间:
2016-12-16 19:19:38
阅读次数:
341
可以在控制台的启动信息里看见,默认状态下没有被打开nio配置,启动时的信息,如下: 2010-2-1 12:59:40 org.apache.coyote.http11.Http11Protocol init 信息: Initializing Coyote HTTP/1.1 on http-8080 ...
分类:
其他好文 时间:
2016-12-13 16:05:05
阅读次数:
185
mysql数据库的调优大概可以分为四大块 0 架构调优 根据业务 读写分库分表 主从 读写分离 1 配置的调优 开启缓存查询 设置缓存大小 最大连接数设置 数据库引擎配置 myisam(读操作,查询快) Innodb(写操作,主库,支持事务,安全) 引擎配置 日志配置 2 表结构的调优 建立合适的索 ...
分类:
数据库 时间:
2016-12-12 14:03:54
阅读次数:
193
jvm,作为java平台通用性的实现基础,重要性不言而喻。 1.开发新项目,写运行脚本时要运用相关知识,确定jvm参数 2.维护老项目,需要对jvm进行性能调优 jvm内存划分: 1.程序计数器 2.虚拟机栈,局部变量,操作数等。当方法需要的栈深度超过规定的最大深度,会报stackFlowOver异 ...
分类:
其他好文 时间:
2016-12-10 06:54:01
阅读次数:
171
文章为逛微信的公众号看到的,由于之前一段时间一直做性能测试,公司也使用的是MySQL数据库,项目中MySQL的优化很多方面和这篇文章类似,就推荐给大家。。。 文章原地址:http://mp.weixin.qq.com/s/oRXJRz_Y5drmIrcbxSKOcw 1. 选择合适的存储引擎: In ...
分类:
数据库 时间:
2016-12-09 15:52:05
阅读次数:
298
1、perf命令简要介绍 性能调优时,我们通常需要分析查找到程序百分比高的热点代码片段,这便需要使用 perf record 记录单个函数级别的统计信息,并使用 perf report 来显示统计结果; perf record perf report 举例: sudo perf record -e ...
分类:
其他好文 时间:
2016-12-08 02:25:58
阅读次数:
259
表 'T_EPZ_INOUT_ENTRY_DETAIL'。扫描计数 1,逻辑读 4825 次,物理读 6 次,预读 19672 次。SQL SERVER 数据库引擎当遇到一个查询语句时,SQL SERVER数据库引擎会分别生成执行计划(占用CPU和内存资源),同时存储引擎读取 IAM 以生成必须要读 ...
分类:
数据库 时间:
2016-12-06 09:36:35
阅读次数:
257
Java调优经验谈 对于调优这个事情来说,一般就是三个过程: 性能监控:问题没有发生,你并不知道你需要调优什么?此时需要一些系统、应用的监控工具来发现问题。 性能分析:问题已经发生,但是你并不知道问题到底出在哪里。此时就需要使用工具、经验对系统、应用进行瓶颈分析,以求定位到问题原因。 性能调优:经过 ...
分类:
编程语言 时间:
2016-12-04 23:29:57
阅读次数:
336
【重要】 Spark性能调优——扩展篇 : http://blog.csdn.net/zdy0_2004/article/details/51705043 ...
分类:
其他好文 时间:
2016-12-01 21:48:17
阅读次数:
247
之前遇到一个同事写的 陈年老工程,需要尽快的时间修改里面的东西,急用,让我帮忙。那就帮着看看。 而Analyze这个工具 真是好用。 工程存在严重的内存泄漏。 如果不解决 很容易就会出现崩溃等现象。 于是 乎 就用 Analyze 进行了 初步的检查,检查后,我去,一下子傻眼了,竟然有将近300个警 ...
分类:
移动开发 时间:
2016-12-01 02:33:50
阅读次数:
277