kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转) 问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的 ...
分类:
其他好文 时间:
2019-01-29 18:17:29
阅读次数:
147
application.properties文件配置: #服务端口,8080被另一服务占用server.port=9090spring.activemq.broker-url=tcp://127.0.0.1:61616# 在考虑结束之前等待的时间#spring.activemq.close-time ...
分类:
编程语言 时间:
2019-01-28 12:11:51
阅读次数:
441
SpringBoot自动配置主要通过@EnableAutoConfiguration, @Conditional, @EnableConfigurationProperties或者@ConfigurationProperties 等几个注解来进行自动配置完成的。 @EnableAutoConfigu ...
分类:
编程语言 时间:
2019-01-28 01:24:35
阅读次数:
96
读取zookeeper保存的topic元数据 Table of Contents 1. 有以下问题 2. 解决方法 3. 代码 3.1. KafkaHelper类 3.2. main.cc完整代码 1 有以下问题 需要使用producer才能获得元数据 当producer和consumer共用一些对 ...
分类:
其他好文 时间:
2019-01-26 11:02:46
阅读次数:
186
问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a d ...
分类:
其他好文 时间:
2019-01-25 18:44:58
阅读次数:
176
1. activemq的使用(点对点) (1) 创建父工程(pom工程),定义activemq的版本号 (2) 创建子工程(war工程),引入activemq依赖 (3) 创建producer(生产者) (4) 创建customer(消费者) (5) 先运行customer(消费者) (6) 运行p ...
分类:
其他好文 时间:
2019-01-25 11:47:16
阅读次数:
127
package main import ( "fmt" "sync" "time" ) // 生产数据 func producer(num ...int)(ret<-chan int) { out:=make(chan int) go func() { defer close(out) for k,... ...
分类:
其他好文 时间:
2019-01-24 00:29:23
阅读次数:
181
MQ全称为Message Queue, 是一种分布式应用程序的的通信方法,它是消费-生产者模型的一个典型的代表,producer往消息队列中不断写入消息,而另一端consumer则可以读取或者订阅队列中的消息。RabbitMQ是MQ产品的典型代表,是一款基于AMQP协议可复用的企业消息系统。业务上, ...
分类:
其他好文 时间:
2019-01-20 22:54:22
阅读次数:
236
把jar包添加到工程中。使用5.11.2版本的jar包。 一、Queue:点到点收发消息(服务端会缓存发送的消息) 1.producer 2.consumer 二、Topic:广播收发消息(服务端不会缓存发送的消息) 1.producer 2.consumer ...
分类:
其他好文 时间:
2019-01-20 15:54:12
阅读次数:
161
最近开发网关服务的过程当中,需要用到kafka转发消息与保存日志,在进行压测的过程中由于是多线程并发操作kafka producer 进行异步send,发现send耗时有时会达到几十毫秒的阻塞,很大程度上上影响了并发的性能,而在后续的测试中发现单线程发送反而比多线程发送效率高出几倍。所以就对kafk ...
分类:
其他好文 时间:
2019-01-20 00:57:43
阅读次数:
176