如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
下半部分主要是 Topic 级别参数、JVM 参数以及操作系统参数的设置 正确设置这些参数是搭建高性能 Kafka 集群的关键因素 Topic 级别参数 如果同时设置了 Topic 级别参数和全局 Broker 参数 答案就是 Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topi ...
分类：
其他好文 时间：
2020-05-03 14:18:46
阅读次数：
61
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
很多参数对系统的影响要比从文档上看更加明显 严格来说这些配置并不单单指 Kafka 服务器端的配置，其中既有 Broker 端参数， 也有主题（后面我用我们更熟悉的 Topic 表示）级别的参数、 JVM 端参数 和操作系统级别的参数 Broker 端参数 目前 Kafka Broker 提供了近 ...
分类：
其他好文 时间：
2020-05-02 23:06:08
阅读次数：
76
一、Kafka架构 Producer ：消息生产者，就是向 kafka broker 发消息的客户端； Consumer ：消息消费者，向 kafka broker 取消息的客户端； Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分 ...
分类：
其他好文 时间：
2020-05-01 18:58:23
阅读次数：
71
服务器中重定向有什么需要注意的吗？ 答：服务器内部重定向使用forward；外部重定向需要使用URL Broker（代理）来完成， 这样这可以避免线上使用的HTTPS在浏览器中显示“不安全”，还会带来URL维护不一致问题。 例如：可以使用Nginx转发重定向，来避免问题的出现 学习阿里规范 ...
分类：
其他好文 时间：
2020-05-01 14:43:01
阅读次数：
208
执行如下sql： SELECT GROUP_CONCAT(id) AS user_ids FROM broker_company WHERE `status`=1 结果如下： 789,1516,1554,1584,1634,1714,1734,1742,1758,1834,1836,2076,... ...
分类：
数据库 时间：
2020-04-30 13:31:51
阅读次数：
62
大纲 (一)、异步投递与确认签收回调 (二)、延迟投递与确认投递 (三)、消费重试机制 (四)、死信队列 (一)、异步投递与确认签收回调 1.What?Why? ActiveMQ 支持同步、异步两种发送的模式将消息发送到 broker，模式的选择对发送延时有巨大的影响。producer 能达到怎样的 ...
分类：
其他好文 时间：
2020-04-22 20:15:33
阅读次数：
92
使用场景 大数据：数据量和速率激增，数据类型越来越复杂 应用开发：消息引擎，应用解耦，分布式存储，流处理 Kafka的体系结构 topic : 主题（消息的逻辑分类） 客户端： 细分为生产者（朝主题发送消息）， 消费者（读取主题的消息）； 服务端： broker (1 处理客户端发送和提供消费支持 ...
分类：
其他好文 时间：
2020-04-17 11:08:28
阅读次数：
73
