查看消费组详情: ./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test-consumer-group 查看topic详情: ./bin/kafka-topics.sh --to ...
分类:
其他好文 时间:
2020-07-31 18:03:33
阅读次数:
83
一次机房停电引发的思考今天早上到公司的时候,接到开发反馈DEV环境所有接口都卡,耗时都在一分钟以上,严重影响开发正常工作,然后通过网关的日志定位到原因是因为kafka集群不可用(总共3个broker,前一天晚上机房停电导致leader节点挂了),导致网关的反爬过滤器里面发送kafka消息的代码kafkaTemplat.send阻塞了60s,当时在想这个send方法不是异步的吗,为什么会阻塞60s?
分类:
其他好文 时间:
2020-07-31 01:13:59
阅读次数:
93
一、安装JDK 略过 二、安装Zookeeper 由于Kafka的运行依赖于Zookeeper,所以在运行Kafka之前需要安装并运行Zookeeper 1.Zookeeper下载路径 http://zookeeper.apache.org/releases.html#download 2.解压到文 ...
分类:
其他好文 时间:
2020-07-30 22:13:36
阅读次数:
66
1、启动设备,设置PC1和PC2的IP地址、子网掩码和网关 2、配置SW1信息: <Huawei>undo terminal monitor 关闭弹窗 <Huawei>system-view 进入系统试图 [Huawei]user-interface console 0 [Huawei-ui-con ...
分类:
其他好文 时间:
2020-07-30 21:44:55
阅读次数:
88
什么是Kafka?Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之 ...
分类:
其他好文 时间:
2020-07-30 14:47:03
阅读次数:
73
#1.1 kafka启动命令nohup bin/kafka-server-start.sh config/server.properties & #1.2 kafka停止命令bin/kafka-server-stop.sh #1.3. kafka重启systemctl restart kafka # ...
分类:
其他好文 时间:
2020-07-30 14:45:42
阅读次数:
79
一:完整代码 ;(function (w){ function createElement(type, attribute, ...childs){ //创建虚拟DOM let element = { type: '', attribute: {}, childs: [] }; element.ty ...
分类:
其他好文 时间:
2020-07-29 22:00:12
阅读次数:
87
Kafka对主题的管理通过Kafka-topics.sh来执行,内容如下: exec $(dirname $0)/kafka-run-class.sh kafka.admin.TopicCommand "$@" 内部调用了kafka.admin.TopicCommand类 1.创建主题 如果配置了参 ...
分类:
其他好文 时间:
2020-07-29 10:13:06
阅读次数:
65
1.优先副本的选举 优先副本是为了解决负载失衡的情况,是指在AR集合列表中的第一个副本,比如分区0的AR集合列表为[1,2,0],那么分区0的优先副本即为1。理想情况下优先副本就是该分区的leader副本 优先副本的选举是指通过一定的方式促使优先副本选举为leader副本,来促进集群的负载均衡,也称 ...
分类:
其他好文 时间:
2020-07-29 09:54:05
阅读次数:
66
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类:
其他好文 时间:
2020-07-29 00:41:18
阅读次数:
111