Kafka 是现在大数据中流行的消息中间件，其中 kafka 中由 topic 组成，而 topic 下又可以由多个 partition 构成。有时候我们在消费 kafka 中的数据想要保证消费 kafka 中的所有的分区下数据是全局有序的，这种情况下就需要将 topic 下的 partition ...
分类：
其他好文 时间：
2020-05-25 09:38:02
阅读次数：
231
Redis为什么需要集群？ 首先Redis单实例主要有单点，容量有限，流量压力上限的问题。 Redis单点故障，可以通过主从复制replication，和自动故障转移sentinel哨兵机制。 但Redis单Master实例提供读写服务，仍然有容量和压力问题，因此需要数据分区，构建多个Master实 ...
分类：
其他好文 时间：
2020-05-24 18:07:28
阅读次数：
302
一、内存分区模型 代码区：存放函数体的二进制代码，有操作系统进行管理的 存放CPU执行的机器指令 代码区是共享的，共享的目的是对频繁被执行的程序，只需要在内存中有一份代码即可 代码区是只读的，使其只读的原因是防止程序意外地修改了它的指令 全局区：存放全局变量和静态变量以及常量 全局变量和静态变量存放 ...
分类：
编程语言 时间：
2020-05-24 12:01:19
阅读次数：
68
1. 查看当前分区情况 free -m 2. 增加swap大小 dd if=/dev/zero of=/var/swap bs=1024 count=12288000 #增加12G空间 3. 设置交换分区 mkswap /var/swap 4. 立即激活交换分区 swapon /var/swap 5 ...
分类：
其他好文 时间：
2020-05-24 11:39:39
阅读次数：
163
根文件系统：rootfs 在了解根文件系统之前，首先要了解文件系统： 什么是文件系统： 文件系统是操作系统用于明确存储设备（常见的硬盘）或者分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统 文件系统由三个部分组成： ...
分类：
系统相关 时间：
2020-05-24 11:22:14
阅读次数：
79
1、Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控，当个别Regionserver不可访问时，将其负责的分区分给其他Regionsever，其转移过程较快，因为只需要将分区的相关信息转移。Hlog和表中数据实际存储在HDFS上，本身具有多副本机制容错。 Mast ...
分类：
其他好文 时间：
2020-05-23 20:00:09
阅读次数：
88
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
下载链接：https://nmap.org/download.html nc传输(一种网络的数据流重定向) nc所做的就是在两台电脑之间建立tcp或udp链接,并在两个端口之间传输数据流,是一种网络的数据流重定向 使用dd结合nc命令网络克隆磁盘分区 主机: dd if=/dev/vda | gzi ...
分类：
其他好文 时间：
2020-05-23 16:40:20
阅读次数：
95
df -h 查看磁盘占用的空间 Filesystem：表示该文件系统位于哪个分区，因此该列显示的是设备名称； Used：表示用掉的磁盘空间大小； Available：表示剩余的磁盘空间大小； Use%：磁盘空间使用率; Mounted on：文件系统的挂载点，也就是磁盘挂载的目录位置 Filesys ...
分类：
系统相关 时间：
2020-05-23 00:33:12
阅读次数：
95
1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法. .mapPartitionsW ...
分类：
其他好文 时间：
2020-05-22 21:16:34
阅读次数：
92
