码迷,mamicode.com
首页 > 其他好文 > 详细

kafka配置文件

时间:2020-07-11 13:08:02      阅读:51      评论:0      收藏:0      [点我收藏+]

标签:delay   rod   inter   核数   snappy   文件   cto   分组   lin   

 

仅罗列一些常用基本配置,更多配置请到查看

https://www.orchome.com/472

 

server.properties配置文件

###kafka服务和系统相关###
#broker id,代表当前主机,集群里唯一
broker.id=1
#监听地址和端口,producter、consumer连接的端口,默认9092
listeners=PLAINTEXT://1.1.1.3:9092
#broker处理消息的最大线程数,一般情况下数量为cpu核数
num.network.threads=3
#broker处理磁盘IO的线程数,数值为cpu核数2倍
num.io.threads=8
#socket的发送缓冲区
socket.send.buffer.bytes=102400
#socket的接受缓冲区
socket.receive.buffer.bytes=102400
#socket请求的最大数
socket.request.max.bytes=104857600

###zookeeper相关###
#zookeeper集群地址
zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
#zookeeper集群的连接超时时间
zookeeper.connection.timeout.ms=18000

###数据相关###
#kafka数据的存放地址,多个地址的话用逗号分割
log.dirs=/tmp/kafka-logs
#数据文件保留时长
log.retention.hours=168
#每个segment的大小
log.segment.bytes=1073741824
#文件大小检查的周期时间
log.retention.check.interval.ms=300000


###topic相关###
#每个topic的分区个数
num.partitions=1

#副本个数
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

#消费者分组协调者
group.initial.rebalance.delay.ms=0

 

producer.properties配置文件

#kafka集群列表,用于获取metadata,不必全部指定,多个用","分开
bootstrap.servers=localhost:9092

#是否压缩,默认0表示不压缩,1表示用gzip压缩,2表示用snappy压缩
compression.type=none

#分区策略。默认kafka.producer.DefaultPartitioner:通过key哈希到对应分区
partitioner.class=kafka.producer.DefaultPartitioner

#消息发送的最长等待时间
request.timeout.ms=10000

max.block.ms=
linger.ms=

#请求的最大字节数
max.request.size=

#当将多个记录被发送到同一个分区时,Producer 将尝试将记录组合到更少的请求中
batch.size=

#等待被发送的缓冲区
buffer.memory=

 

consumer.properties文件

#kafka集群列表,不必全部指定,多个用","分开
bootstrap.servers=localhost:9092

#组ID
group.id=

#kafka集群的心跳间隔,默认3000
heartbeat.interval.ms=

 

kafka配置文件

标签:delay   rod   inter   核数   snappy   文件   cto   分组   lin   

原文地址:https://www.cnblogs.com/gudanaimei/p/13282685.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!