在 Kafka 中，出产者写入音讯、顾客读取音讯的操作都是与 leader 副本进行交互的，从 而结束的是一种主写主读的出产消费模型。数据库、Redis 等都具有主写主读的功用，与此同时还支撑主写从读的功用，主写从读也便是读写分别，为了与主写主读对应，这儿就以主写从读来称谓。Kafka 并不支撑主写 ...
分类：
其他好文 时间：
2019-12-03 23:32:15
阅读次数：
193
因为在具体开发中某些环节考虑使用kafka却担心有消息丢失的风险，本周结合项目对kafka的消息可靠性做了一下调研和总结： 首先明确一下丢消息的定义。kafka集群中的部分或全部broker挂了，导致consumer没有及时收到消息，这不属于丢消息。broker挂了，只要消息全部持久化到了硬盘上，重 ...
分类：
其他好文 时间：
2019-12-03 14:18:21
阅读次数：
127
http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgztar-zxvfkafka_2.12-2.3.0.tgzcdkafka_2.12-2.3.0bin/zookeeper-server-start.sh-daemonconfig/zookeeper.properties
分类：
系统相关 时间：
2019-12-03 10:37:32
阅读次数：
236
Flume is a distributed, reliable（可靠地）, and available service for efficiently（高效地） collecting, aggregating, and moving large amounts of log data. It ha ...
分类：
Web程序 时间：
2019-12-02 23:28:01
阅读次数：
242
前文中已经完成了文件的监控，kafka信息读写，今天主要完成配置文件的读写以及热更新。并且规划一下系统的整体结构，然后将之前的功能串起来形成一套完整的日志采集系统。 前情提要 上一节我们完成了如下目标1 完成kafka消息读写2 借助tailf实现文件监控，并模拟测试实时写文件以及文件备份时功能无误 ...
分类：
其他好文 时间：
2019-12-02 17:08:53
阅读次数：
98
import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.con... ...
分类：
其他好文 时间：
2019-12-01 23:08:23
阅读次数：
203
prodcer同步发送的机制虽然能保证消息不丢失，但是不推荐生产环境使用，性能很差。一般都是采用异步方式发送消息，把消息先放入缓冲区，然后再由IO线程推送出去，存在消息丢失的风险，而且可能发生乱序。 下面给出Kafka无消息丢失的配置： Producer端配置 block.on.buffer.ful ...
分类：
其他好文 时间：
2019-12-01 23:04:21
阅读次数：
213
Kafka在生产者中序列化为二进制对象推送给Broker，下面是一个自定义序列化的示例，序列化一个User对象； 首先，引入jackson-mapper-asl 然后定义需要被序列化的实体类： package cn.org.fubin; public class User { private Str ...
分类：
其他好文 时间：
2019-12-01 22:57:12
阅读次数：
167
一、使用场景 大背景是从kafka 中读取oplog进行增量处理，但是当我想发一条命令将这个增量过程阻塞，然后开始进行一次全量同步之后，在开始继续增量。 所以需要对多个协程进行控制。 二、使用知识 1. 从一个未初始化的管道读会阻塞 2.从一个关闭的管道读不会阻塞 利用两个管道和select 进行控 ...
分类：
其他好文 时间：
2019-12-01 17:16:19
阅读次数：
147
Kafka入门介绍 https://www.cnblogs.com/swordfall/p/8251700.html最近在看hdoop的hdfs 以及看了下kafka的底层存储，发现分布式的技术基本上都是相同的。 都是通过增加一个coordinator的节点作为存储元数据， 将实体数据放到datan ...
分类：
其他好文 时间：
2019-12-01 09:52:12
阅读次数：
85
