在《Kafka消费者的使用和原理》中已经提到过“再均衡”的概念,我们先回顾下,一个主题可以有多个分区,而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费,可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的,例如消费者会宕机,还有新的消费者会加入,而为了应对这些变化,让分区所属权的分配合理,这都需要对分区所属权进行调整,也就是所谓的“再均衡”。本文将对再
分类:
其他好文 时间:
2020-10-27 11:55:04
阅读次数:
42
草捏子最近开始学习Kafka。在学习前,给自己确定了下学习的范围,大致如下:理解Kafka的相关概念;掌握Kafka的基本API使用;了解Kafka的背后原理。后续将在这学习范围内输出一些相关文章。那么本文作为Kafka系列的第一篇文章,将从“理解Kafka的相关概念”说起。首先Kafka是什么。Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeepe
分类:
其他好文 时间:
2020-10-27 11:52:25
阅读次数:
31
前言 在ceph 14版本里面才加入了bluefs-bdev-migrate,分区迁移相关的命令,那么在12版本里面其实也是可以扩展分区的 操作方法 如果db分区之前有做独立独立分区,但是发现db的大小设置小了,想把这个db调大,或者是从ssd设备迁移到nvme的分区,那么可以通过dd命令来实现的 ...
分类:
数据库 时间:
2020-10-27 11:13:20
阅读次数:
51
背景 自上次发布十年老苹果(A1286)强升Catalina及Win10踩坑记以来,因为后半部分—————系统安装上的细节描述过于简略,一些朋友在安装过程中总是又遇到坑,由此特意详述这一过程,让园友少走弯路。 Case情形 我原在A1286里装的是一块250G的固态; 原有光驱位硬盘架,原来硬盘架内 ...
分类:
移动开发 时间:
2020-10-27 10:56:58
阅读次数:
50
1.U盘的装载与卸载(设备都保存在/dev中 /dev存放设备的文件) 1.卸载u盘 umount /media/xxx/xxx (xxx为具体路径) 2.查看设备 sudo fdisk -l (sd-->scsi device hd-->hard disk硬盘 fd >floppy disk软盘 ...
分类:
系统相关 时间:
2020-10-26 10:40:11
阅读次数:
25
背景:测试环境安装centos7的时候没有手动分区,自动分区根目录只有50G,而安装docker的时候也没有指定存储路径,默认是/var/lib/docker,我在/home底下创建一个目录docker_data/docker,然后将/var/lib/docker目录内容拷贝到/home/docker_data/docker目录,然后做软链接将/var/lib/docker指定到/home/doc
分类:
其他好文 时间:
2020-10-22 23:13:46
阅读次数:
45
在分布式系统中,有一个基本原则叫做CAP,consistence,一致性,availability,可用性,partition tolerance分区容错性。 一致性,在这里指的是分布式系统的各个副本的值要保持同步,这里强的是空间上的一致,注意和数据库中ACID中的一致性相区分,那个一致性指的是事务 ...
分类:
其他好文 时间:
2020-10-22 22:13:50
阅读次数:
23
今天买的一台服务器发现其硬盘容量与购买界面的描述不符,于是我去问了客服才知道有一块硬盘需要自己挂载,所以记录自己硬盘分区以及挂载操作得此文。 测试环境 ? 由于时间限制,本人仅在centos 8下测试通过,理论上适用于几乎所有的linux发行版。 硬盘分区 ? 输入df -h查看当前系统的硬盘容量使 ...
分类:
系统相关 时间:
2020-10-21 21:22:07
阅读次数:
34
无论对Spark集群,还是Hadoop集群等大数据相关的集群进行调优,对linux系统层面的调优都是必不可少的,这里主要介绍3种常用的调优和linux常见面试题 ...
分类:
系统相关 时间:
2020-10-20 16:23:11
阅读次数:
36
在Linux系统中存在硬链接和软连接两种文件。硬链接(hardlink):可以将它理解为一个“指向原始文件inode的指针”,系统不为它分配独立的inode和文件。所以,硬链接文件与原始文件其实是同一个文件,只是名字不同。我们每添加一个硬链接,该文件的inode连接数就会增加1;而且只有当该文件的inode连接数为0时,才算彻底将它删除。换言之,由于硬链接实际上是指向原文件inode的指针,因此即
分类:
其他好文 时间:
2020-10-19 22:23:48
阅读次数:
19