传统RAID技术在面临大容量磁盘的时候显得有点力不从心，这主要由于大容量磁盘技术的引入使得RAID的数据重构时间急剧变长，并且整体IO性能也受到了严重影响。所以很多人预测，传统RAID技术作为存储核心的时代即将过去，大容量磁盘的数据管理需要其它的数据保护技术。我也曾经在一些文章中分析过，传统RAID ...
分类：
其他好文 时间：
2020-06-30 22:49:13
阅读次数：
63
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
Redis 持久化设计 持久化的功能：Redis是内存数据库，数据都是存储在内存中的，为了避免进程退出导致数据的永久丢失，要定期将Redis中的数据以某种形式从内存保存到硬盘，当下次Reids重启时，利用持久化文件实现数据恢复。 RDB：将当前数据保存到硬盘 AOF：将每次执行的写命令保存到硬盘（类 ...
分类：
其他好文 时间：
2020-06-14 12:31:08
阅读次数：
52
在配置之前，得导入multipart解析器所依赖的jar包 配置解析器： 创建虚拟目录用于存储图片（虚拟目录用于客户访问的路径名而不暴露真实的目录机构），一般目录内部得分目录管理（提供IO性能） 既然是上传图片，得在方法设置一个形参用于接收图片，即multipartFile 在页面上，文件表单项ty ...
分类：
编程语言 时间：
2020-06-02 13:18:31
阅读次数：
68
一、MySQL介绍 瑞典AB公司开发，后来卖给了oracle 一个关系型数据库 中小型数据库，表过大会出现IO性能瓶颈，树明建议单表600万条记录或2G以上就分表 分为企业版和社区版，目前两大版本mysql5.7 和mysql 8.0 二、MySQL安装 a、安装前依赖解决 1）cmake命令 2. ...
分类：
数据库 时间：
2020-05-22 21:48:47
阅读次数：
93
Oracle IO性能测试 前言 最近发生了迁移测试库后（单节点迁移RAC）因为IO性能问题导致迁移后性能非常差的问题。 原本想在创建ASM磁盘组之前用Orion做测试，但是忘了做就没做结果出了这档子事情。 后边查了资料发现建库之后，Oracle也可以通过calibrate_io来做IOPS和吞吐量 ...
分类：
数据库 时间：
2020-05-10 23:33:11
阅读次数：
210
io性能分析篇 相关概念：1.文件系统：本身对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。2.为了方便管理，Linux文件系统为每个文件都分配两个数据结构，索引节点和目录项。它们主要用来记录文件的元信息和目录结构 *索引节点：简称inode，用来记录文件的元数据，比如 ...
分类：
其他好文 时间：
2020-04-29 21:34:00
阅读次数：
93
1. sysbench 介绍 sysbench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数 下的数据库负载情况。 它主要包括以下几种方式的测试： cpu性能 磁盘io性能 调度程序性能 内存分配及传输速度 POSIX线程性能 数据库性能(OLTP基准测试) 目前sys ...
分类：
其他好文 时间：
2020-04-22 16:26:52
阅读次数：
63
1、什么是NoSQL？列举几个你知道的NoSQL数据库。答：①许多网站在海量用户访问的高并发情况下出现崩溃问题，根本原因是关系型数据库。关系型数据库有性能瓶颈：磁盘IO性能低下、扩展瓶颈：数据关系复杂，扩展性差，不便于大规模集群。②NoSQL即Not-OnlySQL，泛指非关系型数据库，作为关系型数据库的补充，降低了磁盘IO次数——使用内存存储、去除数据间关系——不存储关系，仅存储数据。③NoSQ
分类：
其他好文 时间：
2020-04-11 10:20:49
阅读次数：
94
我们知道，Linux用cache/buffer缓存数据，且有个回刷任务在**适当时候**把脏数据回刷到存储介质中。什么是适当的时候？换句话说，什么时候触发回刷？是脏数据达到多少阈值还是定时触发，或者两者都有？不同场景对触发回刷的时机的需求也不一样，对IO回刷触发时机的选择，是IO性能优化的一个重要方... ...
分类：
系统相关 时间：
2020-04-08 09:53:35
阅读次数：
77
