常规的： 1、过早的过滤字段、只选用需要的列、要加分区 2、join 小表放左边 set hive.exec.reducers.max=200; set mapred.reduce.tasks= 200; 增大Reduce个数 set hive.groupby.mapaggr.checkinterv ...
分类：
数据库 时间：
2020-06-22 15:34:57
阅读次数：
75
如果电脑只配置有一块或多块普通磁盘，则选择disk0安装OS； 如果电脑同时配置有SSD+其他磁盘，则选择SSD安装OS； 如果系统磁盘容量<200G，则只分区一个C盘，>200G则分区为C和D盘。 实现方式： 1.编辑UserExit.vbs脚本，增加如下3个函数，实际上DiskNum()函数在此 ...
分类：
其他好文 时间：
2020-06-22 11:00:29
阅读次数：
358
1.前言电脑用了很多年了，安装的windows7，经常出现很卡的情况，于是今天索性重装了系统。既然重装系统，选择什么系统好呢，windows10系统的话，对于我这老旧本来说，可能真的是为难它了。刚好ubuntu20发行没多久，于是尝试安装了ubuntu20.04。刚开始安装ubuntu20的时候，也是遇到了很多坑。在自定义分区的时候，一定要有boot、efi、biosgrub分区，否则安装完成后，
分类：
微信 时间：
2020-06-22 09:21:18
阅读次数：
1191
Kafka架构在硬件选择方面，以重要性顺序考虑以下4点： 1) 磁盘（最重要）。影响最大的事生产者，读写速度。需参考多个分区、多个目录，如一个分区每天生产1TB数据，10天就是10GB，再乘以分区数量。 2）网络。生产者、消费者写入、读取速度 3）内存。影响消费者，因为生产者如果写不了内存可以写磁盘 ...
分类：
其他好文 时间：
2020-06-22 01:34:55
阅读次数：
49
一、归并排序 要排序一个数组，先把数组从中间分成前后两部分，然后对前后两部分分别排序，再将排好序的两部分合并在一起。如下图： 重点： 归并排序使用的是分治思想。分治，就是分而治之，将一个大问题分解成小的子问题来解决。 分治思想跟递归思想很像，分治算法一般是用递归实现。 分治是一种解决问题的处理思想， ...
分类：
编程语言 时间：
2020-06-21 23:38:44
阅读次数：
74
df 查看磁盘空间 df df -h 查看具体大小，-h表示以较高可读性进行展示。 fileSystem >分区 size > 大小 used > 被使用的 Use% > 使用百分比 Mounted on> 挂载点 free 查看内存情况 free -m 以M单位查看。free=1134,表示可用内 ...
分类：
其他好文 时间：
2020-06-21 22:52:47
阅读次数：
59
kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0，操作系统centos8. 1）创建主题 创建my-topic主题，该主题有 1 个副本，8个分区： $ bin/kafka-topics.sh --create --bootstrap-server l ...
分类：
其他好文 时间：
2020-06-21 17:51:35
阅读次数：
59
Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找， ...
分类：
其他好文 时间：
2020-06-21 16:22:24
阅读次数：
55
一.分区 问题：按照条件将结果输出到不同文件中 自定义分区步骤 1.自定义继承Partitioner类，重写getPartition()方法 2.在job驱动Driver中设置自定义的Partitioner 3.在Driver中根据分区数设置reducetask数 分区数和reducetask关系 ...
分类：
编程语言 时间：
2020-06-21 11:32:34
阅读次数：
65
kafka 非常难，难在 broker 有角色之分，controller 起控制作用，难在副本有角色之分，leader 提供读写服务，所以 broker 会有状态的切换，副本也有状态的切换。 从一个具体的场景切入，4 节点集群(b1, b2, b3, b4)，存在 1 个分区 tp0 分布在 (b1 ...
分类：
其他好文 时间：
2020-06-21 00:49:58
阅读次数：
77
