Kafka-硬件的选择 磁盘吞吐量（重要，影响生产者） 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存，大多数客户端在发送消息后会一直等待，直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快，生成消息的延迟就越低。 磁盘容量（制约集群规模） ...
分类：
其他好文 时间：
2020-03-29 13:00:28
阅读次数：
102
原文：再过半小时，你就能明白kafka的工作原理了 会出现什么情况呢？ 1、为了这个女朋友，我请假回去拿（老板不批）。 2、小哥一直在你楼下等（小哥还有其他的快递要送）。 3、周末再送（显然等不及）。 4、这个女朋友我不要了（绝对不可能）！ 在上面例子中，“快递小哥”和“买女朋友的我”就是需要交互的 ...
分类：
其他好文 时间：
2020-03-27 13:00:35
阅读次数：
75
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
先描述下这里的业务：我们有一个父类A，多个继承A的AA类、AB类、AC类，多了一些不同的业务字段。业务分为多个端，如：甲端、乙端，通过kafka来交互数据，数据格式为一个VO，包含多个业务属性以外，还有一个List<A>属性引用类，这里实质内容还是AA、AB、AC类。甲端封装好对应的参数后，传递给乙 ...
分类：
编程语言 时间：
2020-03-26 19:48:31
阅读次数：
63
Kafka Kafka是如何控制超时的？ 如何管理大量的topic，有哪些问题？ 零拷贝计数在Kafka中使用会有哪些副作用？ 为何大厂大规模实践中很少用Kafka？ 和其他MQ的比较：优缺点 多看源码 Mysql 项目中是如何分库分表保证服务不停机的 注册中心 注册中心需要满足CAP理论中的哪两个 ...
分类：
其他好文 时间：
2020-03-26 19:18:10
阅读次数：
56
本章目录 1、概述 2、安装配置计算节点 一、概述 计算节点上： "https://docs.openstack.org/nova/rocky/install/compute install.html" nova compute调用libvirtd来创建虚拟机 nova compute的功能可以分为 ...
分类：
其他好文 时间：
2020-03-25 23:51:17
阅读次数：
182
从头消费数据需满足两个条件： 1. groupid为新的 2. auto_offset_reset_config的值为earliest Properties p = new Properties(); p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "1 ...
分类：
其他好文 时间：
2020-03-25 23:47:02
阅读次数：
137
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
Flink1.10版本支持SQLDDL的特性，本文章以从kafka消费数据，写入jdbc为例介绍整个流程。具体操作如下：1.下载flink1.10的安装包并解压：https://www.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz进入flink的lib目录，采用wget或是本地下载拷贝的方式下载依赖的conne
分类：
数据库 时间：
2020-03-25 10:31:34
阅读次数：
483
Kafka-常用术语(消息、生产者、消费者、集群、broker解释) 消息和批次 kafka的数据单元被称为消息。类似于数据库表中的一行数据。 消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。 消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的 ...
分类：
其他好文 时间：
2020-03-24 21:43:11
阅读次数：
88
