一: kafka文件组成 基本组成: 1- broker 节点,多个broker构成一个集群 2- topic 对消息进行归类 3- producer 生产者 4- comsumer 消费者 5- consumerGroup 消费组 topic的组成: 1- partition 物理上数据存储的概念 ...
分类:
其他好文 时间:
2019-05-14 19:31:44
阅读次数:
231
KafkaProducer在调用send方法发送消息至broker的过程中,首先是经过拦截器Inteceptors处理,然后是经过序列化Serializer处理,之后就到了Partitions阶段,即分区分配计算阶段。在某些应用场景下,业务逻辑需要控制每条消息落到合适的分区中,有些情形下则只要根据默认的分配规则即可。在KafkaProducer计算分配时,首先根据的是ProducerRecord中
分类:
其他好文 时间:
2019-05-14 16:25:35
阅读次数:
148
消息队列RabbitMQ 消息队列 消息队列的使用场景 RabbitMQ 特点 生产者与消费者 RabbitMQ 内部结构 应用程序与代理服务器的通信机制 AMQP消息路由:队列、交换器和绑定 AMQP 的消息路由过程 队列 交换器和绑定 (交换机)Exchange 类型 direct fanout ...
分类:
其他好文 时间:
2019-05-13 16:03:18
阅读次数:
87
1.目标 - KAFA价格 在我们上一篇Kafka教程中,我们讨论了Kafka用例和应用程序。今天,在这个Kafka教程中,我们将讨论Kafka Architecture。在这篇Kafka Architecture文章中,我们将在Kafka中看到API。此外,我们将了解Kafka Broker,Ka ...
分类:
其他好文 时间:
2019-05-11 21:49:13
阅读次数:
271
思路: 先在主机s1上安装配置,然后远程复制到其它两台主机s2、s3上, 并分别修改配置文件server.properties中的broker.id属性。 1、 搭建前准备 示例共三台主机,主机IP映射信息如下: 搭建ZooKeeper 集群,搭建步骤参考: https://www.cnblogs. ...
分类:
其他好文 时间:
2019-05-11 21:13:14
阅读次数:
151
overview→Totals所有队列的阻塞情况Ready:待消费的消息总数Unacked:待应答的消息总数Total:总数Ready+UnackedPublish:producterpub消息的速率。Publisherconfirm:broker确认pub消息的速率。Deliver(manualack):customer手动确认的速率。Deliver(autoack):customer自动确认的
分类:
其他好文 时间:
2019-05-06 15:59:18
阅读次数:
243
两张图读懂kafka应用: Kafka 中的术语 broker:中间的kafka cluster,存储消息,是由多个server组成的集群。 topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer:往broker中某个topic里面生产数据。 c ...
分类:
其他好文 时间:
2019-05-04 11:50:24
阅读次数:
118
FATAL [Kafka Server 1], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)java.lang.RuntimeException: A broker is ...
分类:
其他好文 时间:
2019-05-02 12:03:17
阅读次数:
859
一:kafka配置信息 1.配置说明: Broker的配置信息server.properties Socket Server Setting: port=9092 Log Basics: log.dirs=/home/alex/tmp/kafka-logs num.partitions=1 Log ...
分类:
其他好文 时间:
2019-05-02 09:30:15
阅读次数:
101
Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。
分类:
其他好文 时间:
2019-04-29 09:29:47
阅读次数:
155