码迷,mamicode.com
首页 > 其他好文 > 详细

管理大量定时任务,如果高效触发超时?

时间:2018-07-27 17:29:06      阅读:204      评论:0      收藏:0      [点我收藏+]

标签:数组   连续   current   扫描法   通用   信息   超时   img   查找   

1. 背景

很多时候,业务有定时任务或定时超时的需求,当任务量很大时,可能需要维护大量的timer,或者进行低效的扫描。

例如:对每个用户会维护一个APP到服务器的TCP连接,用来实时收发信息,对这个TCP连接,如果连续30s没有请求包,服务端就要将这个连接断开。

一般说怎么实现这类需求呢?

2. 一般思路

2.1 轮询扫描法

(1)用一个Map<uid, last_packet_time>来记录每一个uid最近一次请求时间last_packet_time;

(2)当某个用户uid有请求包来到,实时更新这个Map;

(3)启动一个timer,当Map中不为空时,轮询扫描这个Map,检查每个uid的last_packet_time是否超过30s,如果超过则进行超时处理

2.2 多timer触发法

(1)用一个Map<uid, last_packet_time>来记录每一个uid最近一次请求时间last_packet_time;

(2)当某个用户uid有请求包来到,实时更新这个Map,并同时对这个uid请求包启动一个timer,30s之后触发;

(3)每个uid请求包对应的timer触发后,检查Map中,查看这个uid的last_packet_time是否超过30s,如果超过则进行超时处理

轮询扫描法:只启动一个timer,但需要轮询,效率较低

多timer触发法:不需要轮询,但每个请求包要启动一个timer,比较耗资源

特别在同时在线量很大时,很容易CPU100%。

3. 环形队列法

三个数据结构:

(1)30s超时,就创建一个index从0到30的环形队列(本质上数组)

(2)环上每一个slot是一个Set<uid>任务集合

(3)同时还有一个Map<uid, index>记录uid落在环上的哪个slot

技术分享图片

算法:

(1)启动一个timer,每隔1s,在上述环形队列中移动一个,0->1->2->3...->29->30->0...

(2)有一个Current Index指针来标识刚检测过的slot

当有某用户uid有请求包达到时:

(1)从Map结构中,查找出这个uid存储在哪个slot里

(2)从这个slot的Set结构中,删除这个uid

(3)将uid重新加入到新的slot,具体是哪一个slot呢?-->Current Index指针所指向的上一个slot,因为整个slot,会被timer在30s之后扫描到

(4)更新Map,这个uid对应slot的index值

哪些元素会被超时删除掉?

Current Index每秒移动一个slot,这个slot对应的Set<uid>中所有uid都应该被集体超时,如果最近30s有请求包来到,一定被放到Current Index的前一个slot,Current Index所在的slot对应Set中所有元素,都是最近30s没有请求包来到的。

所以,当没有超时时,Current Index扫描到的每一个Slot的Set中应该都没有元素。

 

这个环形队列法是一个通用的方法,Set和Map中可以使任何task,本文的uid是一个最简单的举例。

4. Netty - HashedWheelTimer

 

管理大量定时任务,如果高效触发超时?

标签:数组   连续   current   扫描法   通用   信息   超时   img   查找   

原文地址:https://www.cnblogs.com/lujiango/p/9378669.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!