1 详细异常 2 问题原因 Maxwell无法启动，kafka挂了 ...
分类：
数据库 时间：
2019-12-08 00:51:26
阅读次数：
420
[toc] Kafka生产者端 可靠性保证： producer向broker发送消息数据，需要有一定的可靠性，至少要保证数据： 1、不丢失 2、不重复 producer提供了一些参数，在编写producer是进行合理设置和编写，就可以保证数据的可靠性。 acks 参数配置 为保证producer发送 ...
分类：
编程语言 时间：
2019-12-07 23:16:20
阅读次数：
165
Kafka消费者端 可靠性保证 作为消费端，消费数据需要考虑的是： 1、不重复消费消息 2、不缺失消费消息 自动提交 offset 的相关参数： enable.auto.commit： 是否开启自动提交 offset 功能(true) auto.commit.interval.ms： 自动提交 of ...
分类：
编程语言 时间：
2019-12-07 23:06:31
阅读次数：
140
[toc] bootstrap.servers broker集群地址，格式：ip1:port,ip2:port...，不需要设定全部的集群地址，设置两个或者两个以上即可。 group.id 消费者隶属的消费者组名称，如果为空会报异常，一般而言，这个参数要有一定的业务意义。 fetch.min.byt ...
分类：
其他好文 时间：
2019-12-07 16:41:02
阅读次数：
543
[toc] 集群启动 启动zookeeper集群 cd /usr/app/zookeeper/bin ./zkServer.sh start 依次启动。 启动kafka集群 cd /usr/app/kafka bin/kafka server satrt.sh daemon config/serve ...
分类：
其他好文 时间：
2019-12-07 16:34:29
阅读次数：
184
[toc] acks 这个参数用老指定分区中必须由多少个副本收到消息，之后生产者才会认为这条消息写入是成功的。acks参数有三种类型的值（都是字符串类型）。 acks=1 默认值为1.生产者发送消息之后，只要分区的leader副本成功的写入消息，生产端就会收到来自服务端的成功响应，说明发送成功。如果 ...
分类：
其他好文 时间：
2019-12-07 16:34:14
阅读次数：
268
[toc] 消费者客户端 消费步骤： 1、配置消费者客户端参数并创建相应的消费者实例。 2、订阅主题。 3、拉取消息并消费 4、提交消费位移 5、关闭消费者实例 订阅主题 通过使用subscribe()方法订阅主题，既可以以集合的形式订阅多个主题，也可以以正则表达式的形式订阅特定模式的主题。 对于消 ...
[toc] Kafka是强依赖与zookeeper集群的，所以需要先搭建Zookeeper集群。 Zookeeper的集群搭建 上传安装包 因为zookeeper需要java环境所以需要上传jdk和zookeeper的安装包，一般安装文件放在usr/opt目录下，这里我用的是jdk1.7、zooke ...
分类：
其他好文 时间：
2019-12-07 16:28:16
阅读次数：
102
环境： springboot + kafka + ES 。。。。。。 maven3.6 jdk8 问题是 jar包启动失败报错，错误如下： Exception in thread "main" java.lang.IllegalStateException: Failed to get nested ...
分类：
编程语言 时间：
2019-12-07 16:26:05
阅读次数：
812
查看system ctl 方式配置 https://www.jianshu.com/p/7fd8b6ea336e systemctl list-unit-files --type=service|grep kafka kafka systemctl 启动方式命令 systemctl start ka ...
分类：
其他好文 时间：
2019-12-07 14:40:38
阅读次数：
252
