启动kafka时，kafka进程无法启动，查阅log发现存在如下问题： 2020-07-04 10:44:54,659] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServ ...
分类：
其他好文 时间：
2020-07-04 15:27:07
阅读次数：
53
NoSql （memcache Redis） 全文搜索：Sphinx、Elasticsearch、Solr Kafka Redis/MC MC指的是memcache SSD Cache 固态硬盘 Solid State Disk或Solid State Drive，简称SSD DOCKER LEVE ...
分类：
其他好文 时间：
2020-07-04 15:02:16
阅读次数：
123
简单安装为了集成 SpringBoot，真实使用，增加增加更多配置，比如将log映射出来 1.安装 zookeeper [root@centos-linux ~]# docker pull wurstmeister/zookeeper [root@centos-linux ~]# docker pu ...
分类：
其他好文 时间：
2020-07-03 23:42:13
阅读次数：
296
消息丢失的场景 如果Kafka Producer使用“发后即忘”的方式发送消息，即调用producer.send(msg)方法来发送消息，方法会立即返回，但此时并不能说明消息已经发送成功。消息发送方式详见初次邂逅Kafka生产者。 如果在消息过程中发生了网络抖动，那么消息就会丢失；或发送的消息本身不 ...
分类：
其他好文 时间：
2020-07-03 19:33:54
阅读次数：
55
如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就 ...
分类：
Web程序 时间：
2020-07-03 01:11:20
阅读次数：
154
Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心的概念叫做“Topic” ...
分类：
其他好文 时间：
2020-07-01 17:26:55
阅读次数：
67
基础概念 正所谓工欲善其事，必先利其器。我们先来了解一下kafka的基础构成。 producer 消息生产者，发布消息到kafka集群的终端或服务。 broker kafaka集群中包含的服务器 topic 每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。 partitio ...
分类：
其他好文 时间：
2020-07-01 14:24:04
阅读次数：
73
Kafka在实际的开发之中的确可以处理千万级别的数据，但是现在有一个问题，这些数据从哪里来呢？Kafka产生的初衷是进行数据的收集以及合理的消费，但是这些实际之中的数据我们应该如何获取，我们该用什么样的方式来获取，而且最关键的是，如果现在是一个已经成型的系统(SSH、SSM、Spring)，那么这个 ...
分类：
Web程序 时间：
2020-07-01 12:37:05
阅读次数：
61
消息队列 首先做简单的引入。 MQ主要是用来： 解耦应用、 异步化消息 流量削峰填谷 目前使用的较多的有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。网上的资源对各种情况都有详细的解释，在此不做过多赘述。本文仅介绍如何使用Redis实现轻量级MQ的过 ...
分类：
其他好文 时间：
2020-07-01 11:03:49
阅读次数：
91
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等众所周知，消息队列在收发两端，主要是依靠业务代码，配合请求确认的机制，来保证消息不会丢失的。而在服务端，一般采用持久化和复制的方式来保证不丢消息。把消息复制到多个节点上，不仅可以解决丢消息的问题，还可以保证消息服务的高可用。即使某一个节点宕机了，还可以继续使用其他节点来收发消息。所以大部分生产系统，都会把消息队列配置成集群模式
分类：
其他好文 时间：
2020-07-01 09:56:57
阅读次数：
58
