打开zookeeper集群之后，zk正常，但是kafka启动之后总是会挂掉，查找logs日志里的server.log文件发现问题： 问题：A broker is already registered on the path /brokers/ids/0. This probably indicate ...
分类：
其他好文 时间：
2020-07-05 15:07:11
阅读次数：
103
以下内容，来自网络资料整理和个人安装使用结果。后续会持续更新 ...
分类：
其他好文 时间：
2020-07-04 21:13:41
阅读次数：
90
如果从消息组件来讲主要划分为两类： JMS组件：ActiveMQ(慢) AMQP组件(协议)：性能是最高的，而AMQP有两个主要的开源项目： |-RabbitMQ：使用最为广泛，速度也很快 |-Kafka：是在大数据时代产生的，未来明日之星。 RabbitMQ系统架构在所有的消息系统之中，其基本由生 ...
分类：
其他好文 时间：
2020-07-04 16:53:00
阅读次数：
71
启动kafka时，kafka进程无法启动，查阅log发现存在如下问题： 2020-07-04 10:44:54,659] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServ ...
分类：
其他好文 时间：
2020-07-04 15:27:07
阅读次数：
53
NoSql （memcache Redis） 全文搜索：Sphinx、Elasticsearch、Solr Kafka Redis/MC MC指的是memcache SSD Cache 固态硬盘 Solid State Disk或Solid State Drive，简称SSD DOCKER LEVE ...
分类：
其他好文 时间：
2020-07-04 15:02:16
阅读次数：
123
简单安装为了集成 SpringBoot，真实使用，增加增加更多配置，比如将log映射出来 1.安装 zookeeper [root@centos-linux ~]# docker pull wurstmeister/zookeeper [root@centos-linux ~]# docker pu ...
分类：
其他好文 时间：
2020-07-03 23:42:13
阅读次数：
296
消息丢失的场景 如果Kafka Producer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。 如果在消息过程中发生了网络抖动，那么消息就会丢失；或发送的消息本身不 ...
分类：
其他好文 时间：
2020-07-03 19:33:54
阅读次数：
55
如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就 ...
分类：
Web程序 时间：
2020-07-03 01:11:20
阅读次数：
154
Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心的概念叫做“Topic” ...
分类：
其他好文 时间：
2020-07-01 17:26:55
阅读次数：
67
基础概念 正所谓工欲善其事，必先利其器。我们先来了解一下kafka的基础构成。 producer 消息生产者，发布消息到kafka集群的终端或服务。 broker kafaka集群中包含的服务器 topic 每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。 partitio ...
分类：
其他好文 时间：
2020-07-01 14:24:04
阅读次数：
73
