记一次celery使用过程中丢失上下文问题问题场景项目中需要在celery的异步任务中连接其他服务的celery任务队列，并向所连接的celery中发送task任务。这样使用的结果就是：需要生成两个不同的celery实例，在第一个celery实例中需要使用flask中的上下文，并进行上下文的生成，在调用完另一个celery实例后，在worker运行了标记的task最大任务销毁重启之后；会发生在需要
分类：
其他好文 时间：
2020-10-27 11:30:23
阅读次数：
19
Celery使用过程中的内存泄露问题问题描述celery异步任务在定时循环的执行异步任务，隔了半个月左右，收到内存告警的信息，连续一周内内存是在缓慢增加的。进行top命令查询内存的占用率是很高的如下图所示问题定位使用MemoryProfiler工具包进行debug，发现异步任务中存在内存增量的地方大多是发送request请求的地方。例如下面的例子Line#MemusageIncrementOccu
分类：
其他好文 时间：
2020-10-26 11:47:49
阅读次数：
33
参考文章 https://www.cnblogs.com/kiba/p/11703073.html和https://www.cnblogs.com/longlongogo/p/6489574.html 经过代码检测两份文章的代码部分不适用，只参考了RabbitMQ的介绍和安装部分。 安装版本是 ra ...
1.rabbitmq使用 - 目的: 可以下载镜像,使用rabbitmq- 操作流程: RabbitMQ介绍和使用 1,RabbitMQ介绍 消息队列是消息在传输的过程中保存消息的容器。 现在主流消息队列有：RabbitMQ、ActiveMQ、Kafka等等。 RabbitMQ和ActiveMQ比较 ...
分类：
其他好文 时间：
2020-10-19 22:42:02
阅读次数：
21
前提 在某一次用户标签服务中大量用到异步流程，使用了RabbitMQ进行解耦。其中，为了提高消费者的处理效率针对了不同节点任务的消费者线程数和prefetch_count参数都做了调整和测试，得到一个相对合理的组合。这里深入分析一下prefetch_count参数在RabbitMQ中的作用。 pre ...
分类：
其他好文 时间：
2020-10-18 17:00:49
阅读次数：
69
docker run -d --hostname my-rabbit -p 7107:5672 -p 7108:15672 --name myrabbitmq rabbitmq:3.8.0-beta.4-management http://49.199.99.99:7108/ guest guest ...
分类：
其他好文 时间：
2020-10-14 20:33:37
阅读次数：
24
在上一章中SpringBoot整合RabbitMQ，已经详细介绍了消息队列的作用，这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的，高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势，被广泛用来记录日志 ...
分类：
编程语言 时间：
2020-10-13 17:35:42
阅读次数：
33
消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见角色大致也就有 Producer（生产者）、Consumer（消费者）。 常见的消息中间件产品: 1). Act ...
分类：
其他好文 时间：
2020-10-12 20:42:58
阅读次数：
31
将队列和交换器绑定的方法如下，可以与前两节中的方法定义(exchangeDeclare和queueDeclare)进行类比。 1.Queue.BindOk queueBind(String queue, String exchange, String routingKey) throws IOExc ...
分类：
其他好文 时间：
2020-10-12 20:34:35
阅读次数：
28
[root@jinkang-e2elog rabbitmq]# cat topic-send.py #!/usr/bin/env python # -*- coding: UTF-8 -*- import pika import sys connection = pika.BlockingConne ...
分类：
其他好文 时间：
2020-10-09 21:38:16
阅读次数：
40
