Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。 针对Kafka性能方面进行简单分析,相关数据请参考:https://segmentfau ...
分类:
其他好文 时间:
2020-01-09 20:48:30
阅读次数:
79
性能测试的一般流程: 收集性能需求——>编写性能脚本——>执行性能测试——>分析测试报告——>系统性能调优 在收集性能需求后,我们会思考: 负载测试时并发时需要多少数据?例:登录 DB数据是否和线上接近? 所以——我们需要在测试前批量造一批数据进行性能测试 性能数据有个重要的点:数据必须带有特殊标记 ...
分类:
其他好文 时间:
2020-01-08 00:26:46
阅读次数:
109
一、TestDFSIO 读写性能测试切换到目录: /opt/hadoop/share/hadoop/mapreduce/ 清空数据hadoop jar hadoop-mapreduce-client-jobclient-2.6.4.jar -cleanhadoop fs -ls /benchmark ...
分类:
其他好文 时间:
2019-12-29 23:30:19
阅读次数:
113
ELASTIC 写i性能优化 refresh translog flush refresh 优化 translog优化 flush 优化 读性能优化 shard 设置 ...
分类:
其他好文 时间:
2019-12-26 00:02:51
阅读次数:
110
一、初识redis Redis是一个开源的Key-Value数据库,通常被称为数据结构服务器,其值可以是多种常见的数据格式,且读写性能极高,且所有操作都是原子性的。 Redis是运行在内存中的,但是可以持久化到磁盘 二、redis的安装 redis的安装也是比较简单的,从官网上下载压缩包,解压以后的 ...
分类:
其他好文 时间:
2019-12-16 17:26:02
阅读次数:
82
1. RAID0 磁盘空间使用率:100%,故成本最低。 读性能:N*单块磁盘的读性能 写性能:N*单块磁盘的写性能 冗余:无,任何一块磁盘损坏都将导致数据不可用。 2. RAID 1 总结: 磁盘空间使用率:50%,故成本最高。 读性能:只能在一个磁盘上读取,取决于磁盘中较快的那块盘 写性能:两块 ...
分类:
其他好文 时间:
2019-12-13 10:54:04
阅读次数:
79
一、SQL和NoSQL1、SQL1、一个结构化的数据库,创建在关系模型基础上,一般面向于记录;2、包括Oracle、Mysql、SQLServer、MicrosoftAccess、DB2等。优点:1、易于维护:都是使用表结构,格式一致;2、使用方便:SQL语言通用,可用于复杂查询;3、复杂操作:支持SQL,可用于一个表以及多个表之间非常复杂的查询。缺点:1、读写性能比较差,尤其是海量数据的高效率读
分类:
其他好文 时间:
2019-12-12 01:08:52
阅读次数:
113
mysql count的理解 1 select count(tel) as telcount from info;如果tel列有null 将不会被统计进去 2 count(*) 这样写性能更好 3 MYISAM引擎 只有当没有where的时候 count(*) 查询才会达到神一样的速度!!看下面例子 ...
分类:
数据库 时间:
2019-11-17 14:30:18
阅读次数:
75
1 raid级别 生产环境常用到的raid级别有raid0,raid1,raid5,raid10.所以侧重学习这几种raid级别即可. 1.1 raid0条带卷 raid0示意图: raid0特点介绍:如将3块物理磁盘组合成raid0 介绍 说明 容量 是3块盘加在一起的容量,具有最高的读写性能,原 ...
分类:
其他好文 时间:
2019-11-15 20:19:09
阅读次数:
59
博文结构什么是LVMLVM中PV、VG、PE、LV扩大LV容量LVM的磁盘快照LVM相关指令汇整什么是LVM:LVM的重点在于“可以弹性的调整filesystem的容量!而并非在于性能与数据保全上面。若需要文件的读写性能或者是数据的可靠性,应该用RAID磁盘阵列LVM可以整合多个实体partition在一起,让这些partitions看起来就像是一个磁盘一样!而且,还可以在未来新增或移除其他的实体
分类:
系统相关 时间:
2019-11-10 10:16:46
阅读次数:
103