1）配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F ...
分类：
Web程序 时间：
2020-11-30 15:35:17
阅读次数：
9
引言所谓的消费语义，指的就是如下三种情况如何保证消息最多消费一次如何保证消息至少消费一次如何保证消息恰好消费一次其实类似还有一个投递语义如何保证消息最多投递一次如何保证消息至少投递一次如何保证消息恰好投递一次说句实在话，其实还是老问题，只是换了一种问法！OK,开始我们的正文正文我们先做如下约定Producer代表生产者Consumer代表消费者MessageQueue代表消息队列投递语义我们先从投
分类：
其他好文 时间：
2020-11-01 21:04:16
阅读次数：
14
背景 一个Python项目中要使用kafka去deliver log，1个producer，5个consumer。单条消息的大小是100KB ～ 500KB，producer要在1秒钟之内能够发送30个这样的message。然后每个consumer也要在1秒钟之内消费30个这样的message。另外 ...
分类：
其他好文 时间：
2020-11-01 10:07:48
阅读次数：
19
KafkaProducerBlockingPoint:max.block.ms:maxtimetowaitforthewholekafka.sendmethod,althoughkafka.sendisasynchronous,thereareseveralsynchronous/blockingoperationswithinthemethod:max.block.msincludes:Meta
分类：
其他好文 时间：
2020-10-22 22:28:07
阅读次数：
21
ActiveMq 1. 原生JMS API操作ActiveMQ PTP 模式(生产者) /** * 演示点对点模式 -- 消息生产者 */ public class PTP_Producer { public static void main(String[] args) throws JMSExc ...
分类：
其他好文 时间：
2020-10-14 20:29:24
阅读次数：
24
消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见角色大致也就有 Producer（生产者）、Consumer（消费者）。 常见的消息中间件产品: 1). Act ...
分类：
其他好文 时间：
2020-10-12 20:42:58
阅读次数：
31
k8s默认被重写/etc/hosts 在k8s启动容器时，会把自己的pod名称和IP写到/etc/hosts里，这是为了解析用的 10.42.0.133 nezha-producer-deployment-68447fcd9c-n6c28 Dockerfile里的配置被覆盖 所在你在打包镜像时，你在 ...
分类：
其他好文 时间：
2020-09-24 21:12:50
阅读次数：
75
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
# producer php bin/hyperf.php gen:amqp-producer DemoProducer # consumer php bin/hyperf.php gen:amqp-consumer DemoConsumer # 使用 command 盗用 DemoProducer ...
分类：
其他好文 时间：
2020-09-16 12:43:45
阅读次数：
131
一直都想知道acquire中block参数的含义,今天查阅相关文档,如下别有一番洞天 Connection and Producer Pools Default Pools Kombu ships with two global pools: one connection pool, and one ...
分类：
其他好文 时间：
2020-09-14 19:10:24
阅读次数：
37
