Kafka整体结构图 Producer :消息生产者,就是向 kafka broker 发消息的客户端。 Consumer :消息消费者,向 kafka broker 取消息的客户端 Topic :每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。 Consumer Group ...
分类:
其他好文 时间:
2018-08-10 23:12:32
阅读次数:
224
Celery 什么是Celery? Celery是一种简单/高效/灵活的即插即用的分布式任务队列. Celery应用场景? 需要异步处理的任务,发邮件/发短信/上传等耗时的操作.最终到达提升用户体验的目的. Celery的模式 Celery主要是由Broker(中间人)和Worker(任务处理者)组 ...
分类:
其他好文 时间:
2018-08-09 01:19:00
阅读次数:
159
1.命令 2.启动生产者 bin/kafka-console-producer.sh --topic beifeng --broker-list linux-hadoop01.ibeifeng.com:9092,linux-hadoop01.ibeifeng.com:9093,linux-hadoo ...
分类:
其他好文 时间:
2018-08-04 17:25:17
阅读次数:
136
AMQP(高级消息队列协议)是一个网络协议。它支持符合要求的客户端应用(application)和消息中间件代理(messaging middleware broker)之间进行通信。 消息代理(message brokers)从发布者(publishers)亦称生产者(producers)那儿接收 ...
分类:
其他好文 时间:
2018-08-03 16:25:57
阅读次数:
155
1. 启动Server http://kafka.apache.org/quickstart For Kafka, a single broker is just a cluster of size one, so nothing much changes other than starting a ...
分类:
其他好文 时间:
2018-08-02 22:53:15
阅读次数:
272
前文链接: (一)Kafka0.8.2官方文档中文版系列-入门指南 (二)Kafka0.8.2官方文档中文版系列-API Topic-level configuration(主题级别的参数配置) 与主题相关的配置具有全局默认值(参考broker部分)和每个主题可选重写(broker部分有明确提示)。 ...
分类:
其他好文 时间:
2018-08-02 18:22:07
阅读次数:
181
SUMMARY 1. logical standby不支持cascading standby 2. 11.2.0.2之前版本cascading standby不支持RAC 3. 11.2.0.3之前版本DG Broker环境不支持cascaded standby DETAILS 为了减少primar ...
分类:
数据库 时间:
2018-08-02 16:00:51
阅读次数:
223
1.Terminology Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指 ...
分类:
其他好文 时间:
2018-08-01 11:54:16
阅读次数:
134
airflow常见问题的排查记录如下: airflow的scheduler进程在执行一个任务后就挂起进入假死状态 出现这个情况的一般原因是scheduler调度器生成了任务,但是无法发布出去。而日志中又没有什么错误信息。 可能原因是Borker连接依赖库没安装: 如果是redis作为broker则执 ...
分类:
其他好文 时间:
2018-07-31 21:41:48
阅读次数:
4733
1.定义数据类型、协议和服务(发送服务和接收服务) 2. 发送消息 3.接收消息 ...
分类:
数据库 时间:
2018-07-30 16:34:56
阅读次数:
166