对于大并发量的系统，有几个可能需要优化的点，下面我们要一步步测试来优化这个系统。 测试目标 对于一个系统，几个常用的评价指标是：平均响应时间、吞吐率、qps等。我的测试主要测试3个接口 主页（访问根路径，没有数据库交互）秒杀接口暴露（暴露秒杀接口，有后台数据交互）执行秒杀操作（插入秒杀成功记录和减库 ...
分类：
其他好文 时间：
2019-08-30 22:36:49
阅读次数：
127
cgroup是Control Groups的缩写，是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 cpu、memory、磁盘IO等等) 的机制，被LXC、docker等很多项目用于实现进程资源控制 cgroup将任意进程进行分组化管理的 Linux 内核功能。cgroup ...
分类：
其他好文 时间：
2019-08-29 11:39:49
阅读次数：
88
BIO/NIO/AIO区别 首先需要区分几个概念 1. IO分为内存IO/网络IO/磁盘IO，磁盘IO都是阻塞的 2. 阻塞与非阻塞是通过代码来实现的，区别在于是在于发过来操作请求，数据准备好才返回（阻塞）还是直接返回（非阻塞） 3. IO读取顺序：磁盘（磁盘IO）/网卡（网络IO）— 内核缓冲区 ...
分类：
其他好文 时间：
2019-08-28 11:04:27
阅读次数：
91
各种监控工具国外linux监控大神：百度搜BrendanD.Gregghttp://www.brendangregg.com/linuxperf.html一、hatoplinux交互式进程查看器，支持鼠标点，搜索杀死进程，排序等，功能相当强大，具体参考：https://www.cnblogs.com/enet01/p/8316006.htmlPID：进程标志号，是非零正整数USER：进程所有者的用
分类：
系统相关 时间：
2019-08-24 22:56:38
阅读次数：
130
一、为什么使用异步日志Why 为提高程序性能，尽量默认都使用异步日志，如果不使用，可能日志在打包的时候，会占用大量磁盘IO和CPU，导致程序性能下降 二、依赖 注意：log4j-over-slf4j 和 slf4j-log4j12会循环引用，导致内存溢出。 三、logback配置文件结构，重点是<a ...
分类：
其他好文 时间：
2019-08-24 17:00:35
阅读次数：
120
1、txt 用普通的磁盘IO操作即可 2、csv 需注意单条数据写入的参数格式是列表，多条数据写入的参数格式是列表嵌套元组，推荐使用多条数据一次性写入，效率高。 3、json：使用json模块中的dump函数 4、数据库：MySQL、MongoDB、Redis 存入MySQL： 存入MongoDB： ...
分类：
其他好文 时间：
2019-08-18 15:44:39
阅读次数：
65
之前对IO理解总是有点模糊, 输入输出,其实针对 数据处理主体 A ,这个主体我们通常是指服务器程序本身, 交互目的源B ,一般是本地磁盘,由本地磁盘IO传输, 或者 远程客户端,由网络IO传输. 不管是 本地 还是远程, 都是完成 A 与B的IO交互,输入输出的都以A,也就是服务器这个主体确定流向 ...
分类：
其他好文 时间：
2019-07-29 09:57:29
阅读次数：
87
Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下： 1、spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘io操做，影响 ...
分类：
其他好文 时间：
2019-07-22 20:04:25
阅读次数：
397
一、索引的作用 索引通俗来讲就相当于书的目录，当我们根据条件查询的时候，没有索引，便需要全表扫描，数据量少还可以，一旦数据量超过百万甚至千万，一条查询sql执行往往需要几十秒甚至更多，5秒以上就已经让人难以忍受了。 提升查询速度的方向一是提升硬件(内存、cpu、硬盘)，二是在软件上优化（加索引、优化 ...
分类：
数据库 时间：
2019-07-13 20:11:53
阅读次数：
136
磁盘读取数据是按block为单位读取的。 一个文件可能占用多个block；但是每读取一个block就会消耗一次磁盘I/O。 如果要提升磁盘IO性能，那么就要尽可能一次性读取数据尽量的多读 一个block只能存放一个文件的内容，无论内容有多小；如果block默认是4K大小，那么存放一个1K的文件，剩余 ...
分类：
其他好文 时间：
2019-06-28 10:23:01
阅读次数：
119
