1.Terminology Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指 ...
分类：
其他好文 时间：
2018-08-01 11:54:16
阅读次数：
134
airflow常见问题的排查记录如下: airflow的scheduler进程在执行一个任务后就挂起进入假死状态 出现这个情况的一般原因是scheduler调度器生成了任务，但是无法发布出去。而日志中又没有什么错误信息。 可能原因是Borker连接依赖库没安装： 如果是redis作为broker则执 ...
分类：
其他好文 时间：
2018-07-31 21:41:48
阅读次数：
4733
1.定义数据类型、协议和服务（发送服务和接收服务） 2. 发送消息 3.接收消息 ...
分类：
数据库 时间：
2018-07-30 16:34:56
阅读次数：
166
我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求，而且添加起来非常地方便，我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件，然后把里面的broker id修改成全局唯一的，最后启动这个节点即可将它加入到现有Kafka集群中。 但是问题来了，新添加的Kafka节点并不会自 ...
分类：
其他好文 时间：
2018-07-30 14:44:09
阅读次数：
133
redis知识点及常见面试题 参考: https://zm8.sm-tc.cn/?src=l4uLj4zF0NCIiIjRnJGdk5CYjNGckJLQrIqNiZaJnpOWjIvQno2LlpyTmo zQx87OxsfGztGXi5KT&uid=c9712557c9cde8bef666f89 ...
分类：
其他好文 时间：
2018-07-29 00:54:15
阅读次数：
178
在使用 RabbitMQ 的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败场景。RabbitMQ 为我们提供了两个选项用来控制消息的投递可靠性模式。
rabbitmq 整个消息投递的路径为：
producer->rabbitmq broker cluster->exchange->que... ...
分类：
其他好文 时间：
2018-07-28 13:36:31
阅读次数：
190
容错的链接Failover Protocol 前面讲述的都是client配置链接到指定的 broker上。但是,如果 Broker的链接失败怎么办呢?此时, Client有两个选项:要么立刻死掉,要么去连接到其它的 broker上。 Failover协议实现了自动重新链接的逻辑。这里有两种方式提供了 ...
分类：
其他好文 时间：
2018-07-24 15:52:35
阅读次数：
130
static networkConnector是用于创建一个静态的配置对于网络中的多个Broker做集群，这种协议用于复合url，一个复合url包括多个url地址。 常用networkConnector配置的可用属性： conduitSubscriptions ：默认true，是否把同一个broke ...
分类：
其他好文 时间：
2018-07-22 21:38:23
阅读次数：
179
引言 根据前面的知识（ "深入了解RabbitMQ工作原理及简单使用" 、 "Rabbit的几种工作模式介绍与实践" ）我们知道，如果要保证消息的可靠性，需要对消息进行持久化处理，然而消息持久化除了需要代码的设置之外，还有一个重要步骤是至关重要的，那就是保证你的消息顺利进入Broker（代理服务器） ...
分类：
其他好文 时间：
2018-07-22 15:22:43
阅读次数：
190
1. kafka的特点Ø 系统的特点：生产者消费者模型，FIFOPartition内部是FIFO的，partition之间呢不是FIFO的，当然我们可以把topic设为一个partition，这样就是严格的FIFO。Ø 高性能：单节点支持上千个客户端，百MB/s吞吐，接近网卡的极限Ø 持久性：消息直 ...
分类：
其他好文 时间：
2018-07-22 14:06:39
阅读次数：
159
