SSD性能测试第一神器：FIO 2017年8月12日 syswift 0 对于SSD性能测试来说，最好的工具莫过于FIO了。 上面这个可爱的小伙子名字叫Jens Axboe，他是丹麦哥本哈根大学计算机系没毕业的学生，他还有一个有名的同乡叫Linus，没想到老乡后来也成了他的领导。Jens今年（201 ...
分类：
其他好文 时间：
2018-05-15 01:40:43
阅读次数：
185
1、HDFS核心概念： 块 （1）为了分摊磁盘读写开销也就是大量数据间分摊磁盘寻址开销 （2）HDFS块比普通的文件块大很多，HDFS默认块大小为64MB，普通的只有几千kb 原因：1、支持面向大规模数据存储 2、降低分布式节点的寻址开销 好处：1、支持大规模文件存储（可以将一个大的文件进行切割，放 ...
分类：
其他好文 时间：
2018-05-13 22:05:37
阅读次数：
139
emmm。。。昨天boss给了一个任务，让我用python在linux下写一个获取当前CPU使用、磁盘读写、内存使用等情况的脚本，满心欢喜的答应了，嗯嗯，开始捣鼓起来。 由于我没用过Linux系统，电脑是win7的，所以打算装双系统，开始折腾。 我没有U盘，不想太麻烦，于是选择用easybcd（万恶 ...
分类：
其他好文 时间：
2018-05-08 14:26:15
阅读次数：
150
#iostat#iostat1#iostat-x1//%util表示磁盘有多少时间占用CPU的（CPU时间一部分给进程处理、计算的，还有一部分时间是等待磁盘io的读写的）如果%util数值很大，达到百分之五六十，说明磁盘io很差，数值越高证明它越忙；如果rkB/s和wkB/s值正常，%util值很大，说明硬盘可能有故障#yuminstall-yiotop#iotop//查看某个进程在频繁读写磁盘，
分类：
其他好文 时间：
2018-05-08 10:18:26
阅读次数：
173
10.6 监控io性能1.监控io性能 命令 iostat -x 查看磁盘使用 注：%util这列就是表示磁盘io百分比，如果百分比很大，那就会导致读与写也很大，会影响磁盘性能，磁盘有异常。2 .iotop命令使用 yum install -y iotop 安装输入iotop命令, 查看磁盘io，动态显示。 &
分类：
其他好文 时间：
2018-05-07 22:53:45
阅读次数：
187
监控io性能iostat查看磁盘情况（需要安装sysstat包）可以直接运行该命令iostat或者后面加一个1，就是动态显示。iostat1iostat和iostat1所表现出来的东西，用sar都可以体现出来，但是用iostat-x就无法使用sar体现出来iostat-xiostat-x有个非常重要的指标，%util，表示磁盘有多少时间占用cpu时间比，等待io时间占比，等待磁盘读写时间占总时间的
分类：
系统相关 时间：
2018-05-07 19:39:50
阅读次数：
254
1. iostat命令Linux系统出现了性能问题，一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。在一个以前看到系统监控工具，总在想那些监控工具的代理，如何收集系统性能信息，io性能，cpu使用，带宽使用等信息，偶然发现，不同系统均提供有性能分析工具的，代理可通过这些命令获取系统性能信息，个人猜测，不知道具体是不是这样的。其中iostat可以给我们提供丰富的
分类：
移动开发 时间：
2018-05-07 16:09:47
阅读次数：
214
10.6 监控io性能10.7 free命令10.8 ps命令10.9 查看网络状态10.10 linux下抓包10.6 监控io性能iostat -x （关注 %util）%util 等待io时间比。这个数值很大，就证明磁盘io很差，很忙。iotop （动态显示 排序进程占io百分比）10.7 free命令free 查看内存使用情况总共2.8G 使用了345m 剩余2.4g 共享的8
分类：
其他好文 时间：
2018-05-07 11:49:49
阅读次数：
166
vmstat命令可以查看CPU、内存、虚拟磁盘交换分区、磁盘（io就是磁盘）、系统进程#vmstat1//指每一秒钟显示一次系统信息（动态显示），这些信息里面需要查看r列：表示有多少个进程处于run的状态，正在使用CPU的进程和正在排队等待使用CPU的进程都属于r的状态；b列：表示被CPU以外的资源给阻断了，处于等待状态，block状态；swpd列：如果swpd的数值一直在变化，说明swap分区和
分类：
其他好文 时间：
2018-05-06 01:40:18
阅读次数：
209
摘抄自https://tech.meituan.com/spark-tuning-pro.html 一、概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行 ...
分类：
其他好文 时间：
2018-04-26 21:04:23
阅读次数：
180
