1、RAID提出的背景 很多人都有因磁盘故障而导致数据丢失的经历。 磁盘访问速度过慢 多磁盘管理不方便 2、RAID定义 RAID叫做廉价磁盘冗余阵列,也叫做独立磁盘冗余阵列。 3、RAID的核心技术 将数据条带化后,存放在不同磁盘上,通过多磁盘的并行操作提高系统的读写速率。 使用基于异或运算为基础 ...
分类:
其他好文 时间:
2020-06-22 15:05:29
阅读次数:
51
如果电脑只配置有一块或多块普通磁盘,则选择disk0安装OS; 如果电脑同时配置有SSD+其他磁盘,则选择SSD安装OS; 如果系统磁盘容量<200G,则只分区一个C盘,>200G则分区为C和D盘。 实现方式: 1.编辑UserExit.vbs脚本,增加如下3个函数,实际上DiskNum()函数在此 ...
分类:
其他好文 时间:
2020-06-22 11:00:29
阅读次数:
358
1.前言电脑用了很多年了,安装的windows7,经常出现很卡的情况,于是今天索性重装了系统。既然重装系统,选择什么系统好呢,windows10系统的话,对于我这老旧本来说,可能真的是为难它了。刚好ubuntu20发行没多久,于是尝试安装了ubuntu20.04。刚开始安装ubuntu20的时候,也是遇到了很多坑。在自定义分区的时候,一定要有boot、efi、biosgrub分区,否则安装完成后,
分类:
微信 时间:
2020-06-22 09:21:18
阅读次数:
1191
Kafka架构在硬件选择方面,以重要性顺序考虑以下4点: 1) 磁盘(最重要)。影响最大的事生产者,读写速度。需参考多个分区、多个目录,如一个分区每天生产1TB数据,10天就是10GB,再乘以分区数量。 2)网络。生产者、消费者写入、读取速度 3)内存。影响消费者,因为生产者如果写不了内存可以写磁盘 ...
分类:
其他好文 时间:
2020-06-22 01:34:55
阅读次数:
49
一、归并排序 要排序一个数组,先把数组从中间分成前后两部分,然后对前后两部分分别排序,再将排好序的两部分合并在一起。如下图: 重点: 归并排序使用的是分治思想。分治,就是分而治之,将一个大问题分解成小的子问题来解决。 分治思想跟递归思想很像,分治算法一般是用递归实现。 分治是一种解决问题的处理思想, ...
分类:
编程语言 时间:
2020-06-21 23:38:44
阅读次数:
74
df 查看磁盘空间 df df -h 查看具体大小,-h表示以较高可读性进行展示。 fileSystem >分区 size > 大小 used > 被使用的 Use% > 使用百分比 Mounted on> 挂载点 free 查看内存情况 free -m 以M单位查看。free=1134,表示可用内 ...
分类:
其他好文 时间:
2020-06-21 22:52:47
阅读次数:
59
kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0,操作系统centos8. 1)创建主题 创建my-topic主题,该主题有 1 个副本,8个分区: $ bin/kafka-topics.sh --create --bootstrap-server l ...
分类:
其他好文 时间:
2020-06-21 17:51:35
阅读次数:
59
Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录,在查询数据时候,默认会对全表进行扫描,这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录,数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件,则直接从该分区去查找, ...
分类:
其他好文 时间:
2020-06-21 16:22:24
阅读次数:
55
一.分区 问题:按照条件将结果输出到不同文件中 自定义分区步骤 1.自定义继承Partitioner类,重写getPartition()方法 2.在job驱动Driver中设置自定义的Partitioner 3.在Driver中根据分区数设置reducetask数 分区数和reducetask关系 ...
分类:
编程语言 时间:
2020-06-21 11:32:34
阅读次数:
65
当然固态有速度优势,但是容量价格比相对机械来说依然不具备优势,解决速度有办法的。 我的主要用途还是玩大型PC游戏,原来是系统盘用SSD,动辄单个5、60G的游戏都装在机械里面,但是大型游戏打开或者过场等都要等挺长时间,没办法,单个机械盘读取速度真的没法子了。 发现刚好主板支持RAID,机箱也是ATX ...
分类:
其他好文 时间:
2020-06-21 09:30:12
阅读次数:
45