目录结构 Linux和Windows目录结构的组织形式有很大不同, Windows 划分出了“盘”的概念(C盘、D盘、E盘),已经建立文件系统的硬盘分区被挂载到某一个目录下,用户通过操作目录来实现磁盘读写。 以反斜杠(\)分割目录 Linux 首先是建立一个根(/)文件系统,所有的目录页都是有根目录 ...
分类:
系统相关 时间:
2018-11-09 00:00:12
阅读次数:
289
评估、监控、性能定位和优化 磁盘 IO 和 网络 IO
分类:
其他好文 时间:
2018-11-07 20:05:46
阅读次数:
147
FIO是测试IOPS的非常好的工具,用来对硬件进行压力测试和验证,支持13种不同的I/O引擎,包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。 fio 官网地址: h ...
分类:
系统相关 时间:
2018-11-02 21:46:34
阅读次数:
318
fio使用指南 这个文档是对fio-2.0.9 HOWTO文档的翻译,fio的参数太多了,翻译这个文档时并没有测试每一个参数的功能和使用方法,只有少量参数做了试验,大部分的参数采用的是根据字面翻译或是个人理解的翻译,必然有些出入,先发出来,以后有使用的时候再被充和修改。在另一个文档中会对fio自带的 ...
分类:
其他好文 时间:
2018-10-30 10:16:44
阅读次数:
139
工作中发现一个fio问题,测试组测试出来的数据read速度一个是17.0G/s,一个是13.2G/s。要知道我后台只有24块7.2k RPM的机械硬盘啊!怎么也不可能有这样的速度。 回家之后我模拟了实际情况,结果重现了这个情况: 首先执行fio -filename=/tmp/test -direct ...
分类:
其他好文 时间:
2018-10-28 11:29:33
阅读次数:
176
程序中遇到需要使用临时文件时,常使用内存中的 io.BytesIO() 代替实体二进制文件,以避免磁盘IO,同时免去了考虑文件名的麻烦。 如上所示,取值时通常使用 getvalue() 而不是 read(),若使用 read() 读取数据,需要先 使指针回到起点。 模块默认是同时支持 文件路径 和 ...
分类:
编程语言 时间:
2018-10-28 11:12:16
阅读次数:
299
为何缓存? 目前磁盘IO和网络IO相对于内存IO的大幅度性能劣势,通过将高频使用的数据存储在离近CPU的位置,以减少传输时间,提高处理效率。 系统缓存: CPU在从内存里读取数据的时候,会额外的读许多数据到内存里; 各个输入输出之间用buffer保存一批数据统一发送和接收。 软件设计缓存: web服 ...
分类:
其他好文 时间:
2018-10-23 11:59:18
阅读次数:
194
zabbix告警,发现某台存放监控数据的数据库主机CPU的IOwait较高,一直持续较长时间。 登录服务器查看磁盘IO发现队列高达90%多,而且经常反复如此 通过iotop查看发现占用io较大的进程是mysql 登录mysql查看show processlist,发现基本上每次io队列较高时都是在i ...
分类:
数据库 时间:
2018-10-22 10:23:14
阅读次数:
205
前言 压力测试过程中,如果因为资源使用瓶颈等问题引发最直接性能问题是业务交易响应时间偏大,TPS逐渐降低等。而问题定位分析通常情况下,最优先排查的是监控服务器资源利用率,例如先用TOP 或者nmon等查看CPU、内存使用情况,然后在排查IO问题,例如网络IO、磁盘IO的问题。 如果是磁盘IO问题,一 ...
分类:
数据库 时间:
2018-10-22 10:19:59
阅读次数:
183
磁盘 IO 一个数据库必须保证其中存储的所有数据都是可以随时读写的,同时因为 MySQL 中所有的数据其实都是以文件的形式存储在磁盘上的,而从磁盘上随机访问对应的数据非常耗时,所以数据库程序和操作系统提供了缓冲池和内存以提高数据的访问速度。 除此之外,我们还需要知道数据库对数据的读取并不是以行为单位 ...
分类:
数据库 时间:
2018-10-08 14:03:18
阅读次数:
152