shuffle磁盘IO时间长 设置spark.local.dir为多个磁盘，并设置磁盘的IO速度快的磁盘，通过增加IO来优化shuffle性能 map|reduce数量大，造成shuffle小文件数目多 spark.shuffle.consolidateFiles为true，来合并shuffle中间 ...
分类：
其他好文 时间：
2017-10-06 10:38:25
阅读次数：
216
使用vmstat命令来察看系统资源情况 在命令行方式下，如何查看CPU、内存的使用情况，网络流量和磁盘I/O？ Q: 在命令行方式下，如何查看CPU、内存的使用情况，网络流量和磁盘I/O？ A: 在命令行方式下， 1. 查看CPU使用情况的命令 每5秒刷新一次，最右侧有CPU的占用率的数据 $ vm ...
分类：
系统相关 时间：
2017-09-23 00:00:32
阅读次数：
498
1、磁盘IO监控工具 iotop 输入命令：iotop 主要查看程序使用的磁盘IO的信息 安装：yum -y install iotop 第一行：10:01:23 — 当前系统时间126 days, 14:29 — 系统已经运行了126天14小时29分钟（在这期间没有重启过）2 users — 当前 ...
分类：
系统相关 时间：
2017-09-18 18:54:43
阅读次数：
176
刚下班没多久，接收到告警提示数据库的数据文件异常，且同时收到主机硬盘的IO ERROR告警 该数据库服务器为AIX+oracle 9i环境，登录主机验证关键日志告警 发现确实在18点48分有磁盘IO的报错 从而查看查看存储和交换机告警信息，都是正常状态 继续查看数据库告警日志 可以看到数据文件45无 ...
分类：
其他好文 时间：
2017-09-18 11:13:52
阅读次数：
246
MySQL 数据库性能优化之缓存参数优化 数据库属于 IO 密集型的应用程序，其主要职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是 IO，尽可能将磁盘IO转 ...
分类：
数据库 时间：
2017-09-07 00:57:09
阅读次数：
240
一、innodb change buffer 介绍： 1、innodb change buffer 是针对oltp场景下磁盘IO的一种优化(我也感觉这个不太像人话，但是它又非常的准确的说明 innodb change buffer 的功能) 二、innodb change buffer 原理: 对于 ...
分类：
数据库 时间：
2017-08-30 15:44:09
阅读次数：
191
一、对Redis持久化的探讨与理解 redis是一个支持持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式，一种是 Snapshot（RDB）也是默认方式，另一种是Append only file（AOF）的方式。具体的理论说明请见这里。 ...
分类：
其他好文 时间：
2017-08-29 18:04:15
阅读次数：
245
硬件中断发生频繁，是件很消耗 CPU 资源的事情，在多核 CPU 条件下如果有办法把大量硬件中断分配给不同的 CPU (core) 处理显然能很好的平衡性能。现在的服务器上动不动就是多 CPU 多核、多网卡、多硬盘，如果能让网卡中断独占1个 CPU (core)、磁盘 IO 中断独占1个 CPU 的 ...
分类：
系统相关 时间：
2017-08-26 12:47:11
阅读次数：
258
Zabbix监控磁盘io 第1章 介绍 监控磁盘IO的基本原理:通过分析/proc/diskstats文件，来对IO的性能进行监控。 ++++++++++++++++++++++++对/proc/diskstats的解释++++++++++++++++++++++++++++++ # cat /pr ...
分类：
其他好文 时间：
2017-08-19 12:42:00
阅读次数：
209
PHP高级工程师之LInux集群（多态主机组合起来，完成一个任务） 在这里和大家分享一下多数网络黑客常用的攻击方式及预防措施。 如有不善,多提意见（QQ：1595068971-邮箱：1595068971@qq.com） 负载均衡集群LB（提高服务的病发处理能力为根本）增加处理能力 衡量标准： 病发处 ...
分类：
系统相关 时间：
2017-08-18 22:35:42
阅读次数：
166
