调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基...
分类：
其他好文 时间：
2016-05-18 18:59:14
阅读次数：
148
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spa...
分类：
其他好文 时间：
2016-05-18 18:58:10
阅读次数：
209
目录 我要给出的建议将分为三个不同的等级： 入门级、 中级和进阶级： 入门级（这是些你一定会经常用在你app开发中的建议） 1. 用ARC管理内存 2. 在正确的地方使用reuseIdentifier 3. 尽可能使Views透明 4. 避免庞大的XIB 5. 不要block主线程 6. 在Imag ...
分类：
移动开发 时间：
2016-05-15 23:59:24
阅读次数：
615
一. 调优需要关注的几个方面 内存调优 CPU 使用调优 锁竞争调优 I/O 调优 二. Twitter 最大的敌人：延迟 导致延迟的几个原因？ 最大影响因素是 GC 其他的有：锁和线程调度、I/O、算法数据结构选取不当效率低 三. 内存性能调优 （1）内存占用调优 OutOfMemoryError ...
分类：
其他好文 时间：
2016-05-14 06:42:07
阅读次数：
220
关键词：xdebug php xdebug 是 php 用来调试、性能调优的工具，常见的功能： 打印变量 堆栈追踪 函数追踪 代码覆盖度分析 远程调试 详情见文档：https://xdebug.org/docs/ xdebug.org 提供了一套在线分析系统，能够根据 php -i 的输出信息，给出 ...
分类：
Web程序 时间：
2016-05-13 18:50:49
阅读次数：
196
除了集成式的VisualVM和JConsole外，JDK本身还提供了如jps、jstack、jmap、jhat、jstat等性能调优监控工具。在Java开发中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足内存泄露线程死锁锁争用（Lock Contention）Java进程消耗CPU过高……这些问题在日常开发中可能被很多人忽视（比如有的人遇到上面的问题只是重启服务器或者调大...
分类：
Web程序 时间：
2016-05-12 18:20:20
阅读次数：
177
相信朋友对SQL Server性能调优相关的知识或多或少都有一些了解。虽然说现在NOSQL相关的技术非常的火热，但是RMDB(关系型数据库)与NOSQL是并存的，并且适用在各种的项目中。在一般的企业级开发中，主要还是RMDB占据主导地位。并且在互联网项目中，也不是摒弃了RMDB，例如MySQL就在很 ...
分类：
数据库 时间：
2016-05-11 12:53:50
阅读次数：
283
性能测试：1.软件性能测试包括三个目标：①发现缺陷；②性能调优；③能力检验与规划 2.软件性能的主要指标有：响应时间、系统响应时间和应用延迟时间、吞吐量、并发用户数、资源利用率 3.系统的响应时间通常是指该系统所有功能的平均响应时间或者所有功能的最大响应时间 4.对于无并发的应用系统而言，吞吐量与响 ...
分类：
其他好文 时间：
2016-05-09 18:25:16
阅读次数：
216
sysdig‘schisels是内置的脚本，供使用者来追踪系统调用或者查看系统的性能瓶颈，它是用强大而且高效的脚本语言Lua写的。今天来分享一下fdbytes_by的用法，该案例可以探测到系统的那个文件的I/O占用最高（不光是file，还可以是networkI/O），而且可以查到哪个进程在读写该文件，..
分类：
数据库 时间：
2016-05-09 14:28:16
阅读次数：
454
VisualVM是JDK自带的一款全能型性能监控和故障分析工具，包括对CPU使用、JVM堆内存消耗、线程、类加载的实时监控，内存dump文件分析，垃圾回收运行情况的可视化分析等，对故障排查和性能调优很有帮助。
VisualVM连接远程服务器有两种方式：JMX和jstatd，两种方式都不能完美支持所有功能，例如JMX不支持VisualGC，jstatd不支持CPU监控，实际使用可同时配置上并按需选用。...
分类：
其他好文 时间：
2016-05-07 09:48:30
阅读次数：
165
