作者：陈明乾
感谢: MageEdu
大纲
作者概述
什么是性能调优？(what)
为什么需要性能调优？(why)
什么时候需要性能调优？(when)
什么地方需要性能调优？(where)
什么人来进行性能调优？(who)
怎么样进行性能调优？(How)
总结
硬件配置：CUP Xeon E5620 x 2 8核心， 内存 ...
分类：
其他好文 时间：
2016-05-30 15:10:35
阅读次数：
329
作者：陈明乾感谢:MageEdu大纲作者概述什么是性能调优？(what)为什么需要性能调优？(why)什么时候需要性能调优？(when)什么地方需要性能调优？(where)什么人来进行性能调优？(who)怎么样进行性能调优？(How)总结硬件配置：CUPXeonE5620x28核心，内存16G，硬盘RAID10，操作系统..
分类：
其他好文 时间：
2016-05-28 14:28:58
阅读次数：
243
1、MapReduce计数器是什么？
计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。
2、MapReduce计数器能做什么？
MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，MapRedu...
分类：
其他好文 时间：
2016-05-27 12:42:20
阅读次数：
157
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优...
分类：
其他好文 时间：
2016-05-27 11:43:37
阅读次数：
210
ElasticSearch是现在技术前沿的大数据引擎，常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统，其中Logstash是ETL工具，Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略，ES开放了一些接口供开发者研发自己的插件，ES结合中文分词的 ...
分类：
数据库 时间：
2016-05-27 10:51:30
阅读次数：
1788
JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。 现实企业级Java开发中，有时候我们会碰到下面这些问 ...
分类：
Web程序 时间：
2016-05-24 18:35:51
阅读次数：
261
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里...
分类：
其他好文 时间：
2016-05-23 15:20:00
阅读次数：
142
一、避免在循环条件中使用复杂表达式 在不做编译优化的情况下，在循环中，循环条件会被反复计算，如果不使用复杂表达式，而使循环条件值不变的话，程序将会运行的更快。 例子： import java.util.vector; class cel { void method (vector vector) { ...
分类：
编程语言 时间：
2016-05-23 15:02:14
阅读次数：
182
2016/5/20： 经过上级指示，为了MR性能调优，需要截取MR的服务器的线程堆栈(Thread Dump) 战友介绍的方法是这样的： ①、使用ps命令【ps -ef | grep java】过滤出所有的Java进程（毕竟MapReduce是运行在JVM中的） ②、从Java进程中找到MR的运行进 ...
分类：
其他好文 时间：
2016-05-21 11:38:14
阅读次数：
197
使用微信扫一扫查看全文干货 作者：bestswifter 在使用UIKit的过程中，性能优化是永恒的话题。很多人都看过分析优化滑动性能的文章，但其中不少文章只介绍了优化方法却对背后的原理避而不谈，或者是晦涩难懂而且读者缺乏实践体验的机会。不妨思考一下下面的问题自己是否有一个清晰的认识： 为什么要把控 ...
分类：
其他好文 时间：
2016-05-21 10:06:49
阅读次数：
239
