使用Hadoop进行离线分析或者数据挖掘的工程师，经常会需要对Hadoop集群或者mapreduce作业进行性能调优。性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。本文将针对这一需求，基于Hadoop开发一个简单实用的工具查询查看各种参数。...
分类：
其他好文 时间：
2016-04-22 19:23:43
阅读次数：
152
以前一直拿ethtool来判断网络的物理连接是否正常，其他功能都没仔细看过，但是ethtool绝不是单单看网卡是否linked这么简单的，今天来分享一下ethtool工具的简单用法。首先看一下命令帮助：Usage:
ethtoolDEVNAME Displaystandardinformationaboutdevice
ethtool-s|--changeDEVN..
分类：
其他好文 时间：
2016-04-22 16:41:52
阅读次数：
2367
Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障，允许多台计算机一起工作，为关键服务正常运行提供保障，系统管理员可以不中断服务执行维护和升级。Linux服务器有各种用途，如Web服务器或分支机构内部服务器，CMS或CRS服务器，文件服务器(为Windows和/或 ...
分类：
系统相关 时间：
2016-04-20 12:59:37
阅读次数：
280
1,hdparm查看硬度读取速度： 2,iostat检测磁盘IO情况： 3,vmstat报告内存以及CPU状况： 4,sar检测CPU资源： 5,lscpu显示CPU信息： 6,strace显示程序的调用： 7,调优硬盘优先写入/读取数据用： 8,将Ext3文件系统的日志功能独立： 9,关闭记录文件 ...
分类：
系统相关 时间：
2016-04-18 13:16:23
阅读次数：
181
iperf是一款网络性能测试工具，不紧可以测试TCP，还可以测试UDP，包括检测网络带宽，自由设置MSS大小，tcpnodelay，tcpwindows大小，最新的iperf3.0版本甚至加上禁止tcpslowstart的功能。一般系统默认安装的都是iperf的旧版本，最近版本请到官网下载：https://iperf.fr/iperf-d..
分类：
其他好文 时间：
2016-04-15 23:20:42
阅读次数：
2501
最近终于把BrendanGregg大神的力作《SystemsPerformance:EnterpriseandtheCloud》给看完了，前往系统调优的道路上还有很多路要走，最近打算写一个系列的性能调优的文章，算是一个读书笔记，跟工作上遇到的问题。思路就按照Brendan经常用的性能调优图片来写：
分类：
其他好文 时间：
2016-04-14 16:12:59
阅读次数：
198
前言
首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验，终于梳理出来，希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileI...
分类：
其他好文 时间：
2016-04-12 17:23:55
阅读次数：
173
Zabbix安装完成后，模板里面有一个Template App Zabbix Server，添加到zabbix服务器里。 过个一两天，查看以下的图表（在Graphs里面）。 Zabbix cache useage，%free： 指标是剩余的cache容量，如果这个值变的很小，就需要调整zabbix_ ...
分类：
其他好文 时间：
2016-04-12 14:17:55
阅读次数：
1030
性能调优1、设计调优 宏观层面质的优化2、代码调优 熟悉相关API,并在合适的场景中正确使用相关API或类库，同时，对算法、数据结构的灵活运用也是代码优化的重要内容3、JVM调优 代码和JVM属于系统微观层面量的优化4、数据库调优 使用preparestatement代替statement提高查询效... ...
分类：
其他好文 时间：
2016-04-08 21:42:53
阅读次数：
361
本文介绍了 ulimit 内键指令的主要功能以及用于改善系统性能的 ulimit 用法。通过这篇文章，读者不仅能够了解 ulimit 所起的作用。而且能够学会怎样更好地通过 ulimit 限制资源的使用来改善系统性能。 概述 系统性能一直是一个受关注的话题，怎样通过最简单的设置来实现最有效的性能调优 ...
分类：
系统相关 时间：
2016-04-07 09:32:30
阅读次数：
225
