定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ（Message Queue），使用消息队列的好处？（面试会问） 解耦：允许我们独立的扩展或修改队列两边的处理过程。 可恢复性：即使一个 ...
分类：
其他好文 时间：
2020-06-15 16:11:29
阅读次数：
53
Kafka快速入门（十二）——Python客户端一、confluent-kafka1、confluent-kafka简介confluent-kafka是Python模块，是对librdkafka的轻量级封装，支持Kafka0.8以上版本。本文基于confluent-kafka1.3.0编写。GitHub地址：https://github.com/confluentinc/confluent-kaf
分类：
编程语言 时间：
2020-06-15 10:35:22
阅读次数：
65
默认方式：先入先出，消息被追加写入每个分区的尾部 分区：可以在不同的服务器上，也就是说，一个主题可以横跨多个服务器 我们吧一个主题的数据看成一个流，不管分多少区，流就是一组从生产者移动到消费者 一个kafka服务器被称为broker，一个broker可以轻松处理数千个分区一级美妙百万级的消息量 保留 ...
分类：
其他好文 时间：
2020-06-15 10:14:47
阅读次数：
57
Kafka快速入门（十一）——RdKafka源码分析一、RdKafkaC源码分析1、KafkaOP队列RdKafka将与KafkaBroke的交互、内部实现的操作都封装成Operator结构，然后放入OP处理队列里统一处理。KafkaOP队列是线程间通信的管道。RdKafka队列定义在rdkafka_queue.h文件中，队列相关操作封装在rdsysqueue.h文件中。（1）KafkaOP队列t
分类：
其他好文 时间：
2020-06-15 10:12:41
阅读次数：
58
lock和Monitor的区别 lock的底层本身是Monitor来实现的，所以Monitor可以实现lock的所有功能。 Monitor有TryEnter的功能，可以防止出现死锁的问题，lock没有。 Mutex和其他两者的区别 Mutex本身可以实现lock和Monitor所有的操作。 但是Mu ...
分类：
其他好文 时间：
2020-06-15 00:04:17
阅读次数：
74
讨论一下kafka参数的配置 1、acks 参数配置 acks这个参数有三个值：0，1，-1，但是不用的参数对应的含义不同，那如果我们想要保证数据不丢失，acks 值应该设置为哪个参数呢？ 0：代表生产者只要把消息发送出去以后就认为消息发送成功了，这种方式有可能会导致数据丢失，因为有可能消息发送到服 ...
分类：
其他好文 时间：
2020-06-14 18:20:10
阅读次数：
66
字段分析： monitor.py #-*- coding: utf-8 -*- import psutil import time,datetime from pprint import pprint #定义一个专门用于获取系统信息的类 class Moniter(object): #转换方法 de ...
分类：
其他好文 时间：
2020-06-14 01:14:47
阅读次数：
68
硬件：Raspberry Pi 4B（4g或8g版本）系统：Ubuntu 20.04 LTS Docker：18.09.9mysql镜像：biarms/mysql:5.7.30-linux-arm64v8 注意：因为我们树莓派4B本身并非x86，而是arm架构，且我们的系统装的是64位ubuntu， ...
分类：
Web程序 时间：
2020-06-13 23:42:12
阅读次数：
342
Synchronized关键字可以用来修饰方法或者代码块。对于同步方法，JVM 采用 ACC_SYNCHRONIZED 标记符来实现同步。 对于同步代码块。JVM 采用 monitorenter、monitorexit 两个指令来实现同步。 在JDK1.6之后对对synchronized锁进行了升级 ...
分类：
其他好文 时间：
2020-06-13 19:33:47
阅读次数：
219
最近很多人问RabbitMQ和Kafka要如何进行选择，甚至有一个风向：说是MQ性能不够了要切Kafka。且先不说成熟系统换组件的风险，光把那一坨沉淀了多年的醇酿翻新重构已然处于崩溃的边缘，蓦然回首，码是人非。 ? 选型最快的方式就是了解下晚出现的中间件的起源，因为他们在付出努力之前肯定做了一波详细 ...
分类：
其他好文 时间：
2020-06-13 19:14:57
阅读次数：
83
