码迷,mamicode.com
首页 > 其他好文 > 详细

Nginx 72万连接性能测试(一)

时间:2014-07-13 08:39:57      阅读:310      评论:0      收藏:0      [点我收藏+]

标签:blog   http   strong   数据   os   width   

转自:http://my.oschina.net/chenzhuo/blog/150200?p=2#comments

根据系统内存64G估算单台tengine做反向代理最高支持72万连接。为了验证达到该连接数时系统稳定运行,进行压测,先验证nginx与client建立72万连接时性能(不转发)。

关闭超线程,12核CPU对应12个nginx worker进程,每个进程worker_connections为60000,且关闭accept_mutex。前端LVS做FNAT模式转发,开synproxy。

1. Client端建立连接数小于proxy上限

7个client,每个client 10个进程对应不同vip,每个进程建立并维持9000个idle连接。共63万并发连接。

最大并发连接

最大CPU利用率

最大内存占用

MaxTengineMem

MaxSocketMem

625.0K

99.33%

4.0G

517M

388M

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

18:19:42:

如图,从18:19:42开始,Client端发起建立连接过程,CPU占用率提高,内存占用增加(1.4G-3.8G)

每个连接占用内存2.4G/630000 = 3.99KB(4KB

18:19:51:

63W个连接建立完毕(CPS=7),CPU占用率下降趋于0,内存稳定在3.8G。

18:20:42:

Tengine对client空闲TCP连接超时为60s,主动断开连接,出现TimeWait连接。同时Client端收到主动断链后,继续发起连接建立过程以便维持期望的连接数,CPU利用率增加,同时内存占用出现尖峰。

18:20:44:

TimeWait连接增加到180000,超过net.ipv4.tcp_max_tw_buckets = 180000,系统日志中出现:

18:20:44 xxx kernel: : [94657.274380] TCP: time wait bucket table overflow

18:20:52:

orphan sockets达到131110,超过net.ipv4.tcp_max_orphans = 131072,系统日志中报Out of socket memory

18:20:54 xxx kernel: : [94667.682404] Out of socket memory

18:20:54 xxx kernel: : [94667.682414] TCP: too many of orphaned sockets

2. Client端建立连接数超过proxy上限

7个client,每个client 10个进程对应不同vip,每个进程建立并维持11万个idle连接。共请求建立77并发连接。

最大并发连接

最大CPU利用率

最大内存占用

MaxTengineMem

MaxSocketMem

720.0K

99.42%

4.4G

517M

388M

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

17:01:52:

开始建立连接。

17:02:01:

72W个连接建立完毕(CPS=8万),由Nginx上限为72W,新建立的连接被主动断连,出现大量TimeWait状态连接(17:01:59开始),TimeWait连接达到180000已经超过了net.ipv4.tcp_max_tw_buckets = 180000,系统日志中出现:

17:02:01 slbv2test04.cm3 kernel: : [89937.009770] TCP: time wait bucket table overflow

17:02:01-17:02:13

这13秒内,系统1分钟load由0.8迅速增加到4,tsar监控无数据。

这个过程,Client端与nginx建立连接,nginx达到72W上限,主动断开新建立连接,出现大量TimeWait状态连接,client达不到需要建立的连接数,继续键连接,于是达tw_buckets上限。

17:02:52:

Tengine对client空闲TCP连接超时为60s,主动断开连接,出现TimeWait连接。同时net.ipv4.tcp_tw_timeout = 60,之前的TimeWait连接也逐步减少。

需要评估的是:

net.ipv4.tcp_max_tw_buckets = 180000

net.ipv4.tcp_tw_timeout = 60

net.ipv4.tcp_tw_recycle = 0

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_max_orphans = 131072

这两个取值是否仍然安全。在client请求达到上限时,会带来大量负载,机器hang风险。

Nginx 72万连接性能测试(一),布布扣,bubuko.com

Nginx 72万连接性能测试(一)

标签:blog   http   strong   数据   os   width   

原文地址:http://www.cnblogs.com/pricks/p/3838135.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!