Kafka-常用术语(消息、生产者、消费者、集群、broker解释) 消息和批次 kafka的数据单元被称为消息。类似于数据库表中的一行数据。 消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。 消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的 ...
分类：
其他好文 时间：
2020-03-24 21:43:11
阅读次数：
88
SASL/PLAIN 是一种简单的 username/password 认证机制, 通常与 TLS 加密一起使用, 用于实现安全认证. Kafka 提供了一个默认的 SASL/PLAIN 实现, 可以做扩展后在生产环境使用. 1 配置kafka server端（每个broker） JAAS文件作为每 ...
分类：
其他好文 时间：
2020-03-23 00:29:27
阅读次数：
86
1、celery执行定时任务1)几点几分执行：celery_task-s1.pyfrom celery import Celeryimport time# redis不加密码broker='redis://127.0.0.1:6379/0'backend='redis://127.0.0.1:637... ...
分类：
其他好文 时间：
2020-03-22 01:25:03
阅读次数：
67
记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message，在V1版本中是如下部分组成，主要关系key和value。 （1）key：当需要将消息写入到某个t ...
分类：
其他好文 时间：
2020-03-22 01:01:11
阅读次数：
82
1、什么是celeryCelery是一个简单、灵活且可靠的，处理大量消息的分布式系统专注于实时处理的异步任务队列同时也支持任务调度celery架构：Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result st... ...
分类：
其他好文 时间：
2020-03-22 00:59:24
阅读次数：
82
`为SDB创建模式用户，表空间集，分片表和重复表。验证DDL已传播到所有分片，并在连接到分片时，通过快速启动故障转移验证Data Guard Broker的自动配置。` 1.连接到分片目录数据库，创建应用程序模式用户，并向该用户授予特权和角色 2.为分片表创建一个表空间集 3.为重复的表创建一个表空 ...
分类：
数据库 时间：
2020-03-21 23:50:12
阅读次数：
174
EMQ： 百万级分布式开源物联网MQTT消息服务器。 一般是emq broker暴露MQTT的1883/ MQTTS的8883端口，现场的许多网关通过MQTT协议作为MQTT client与emq进行pub/ sub消息。 特点： 完全开放源码 基于Apache Version 2.0开源协议 百万 ...
分类：
其他好文 时间：
2020-03-18 15:21:00
阅读次数：
146
承接上文 在上一篇 "文章" 中，我们谈了下Kafka客户端连接后端Broker的认证，导致的无法建立连接的出现原因，了解了为什么无法通过认证，即：客户端未携带与 Zookeeper 中存储的 Broker 连接认证信息 有朋友可能会问了，我知道了这个原理了，知道需要为客户端主机添加 hosts 映 ...
分类：
其他好文 时间：
2020-03-09 13:45:28
阅读次数：
80
引用：https://www.cnblogs.com/adolfmc/p/7345333.html 创建一个消息队列： bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeepe ...
分类：
其他好文 时间：
2020-03-07 10:13:38
阅读次数：
73
1.Kafka文件存储基本结构 1）在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1 2）每个partion(目录 ...
分类：
其他好文 时间：
2020-03-03 22:34:12
阅读次数：
102
