kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0，操作系统centos8. 1）创建主题 创建my-topic主题，该主题有 1 个副本，8个分区： $ bin/kafka-topics.sh --create --bootstrap-server l ...
分类：
其他好文 时间：
2020-06-21 17:51:35
阅读次数：
59
Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找， ...
分类：
其他好文 时间：
2020-06-21 16:22:24
阅读次数：
55
一.分区 问题：按照条件将结果输出到不同文件中 自定义分区步骤 1.自定义继承Partitioner类，重写getPartition()方法 2.在job驱动Driver中设置自定义的Partitioner 3.在Driver中根据分区数设置reducetask数 分区数和reducetask关系 ...
分类：
编程语言 时间：
2020-06-21 11:32:34
阅读次数：
65
kafka 非常难，难在 broker 有角色之分，controller 起控制作用，难在副本有角色之分，leader 提供读写服务，所以 broker 会有状态的切换，副本也有状态的切换。 从一个具体的场景切入，4 节点集群(b1, b2, b3, b4)，存在 1 个分区 tp0 分布在 (b1 ...
分类：
其他好文 时间：
2020-06-21 00:49:58
阅读次数：
77
#链接文件 在同一分区中，不能使用同一个节点编号。 同一个文件不允许由多个节点编号。 ##硬链接 ln 一个文件可以起多个文件名 相当于马甲 硬链接本质上就给一个文件起一个新的名称，实质是同一个文件 ln link的简写 创建链接的命令 硬链接创建的文件彼此之间没有依赖关系 ###硬链接特性 创建硬 ...
分类：
系统相关 时间：
2020-06-20 19:17:29
阅读次数：
66
1：先找到你的kali或者其他Linux系统安装的磁盘分区，在initramfs下输入blkid命令可以查看所有磁盘，然后找到TYPE=“ext4”的分区;记录下磁盘的名字，我的是/dev/sda7； 2. fsck -t ext4 /dev/sda1 需人工干预一路按yes fsck -y /de ...
分类：
系统相关 时间：
2020-06-20 19:10:47
阅读次数：
85
今天尝试将mitmdump证书放置到系统证书下的时候不能正常移动证书文件 尝试使用adb命令同样提示权限问题。 查阅一番后： push 之前使用命令：adb remount 计算证书名 openssl x509 -subject_hash_old -in xxx.pem 算出数值 需要安装OpenS ...
分类：
移动开发 时间：
2020-06-20 18:30:56
阅读次数：
149
#文件元数据 一块硬盘的分区可以认为有两部分组成，保存元数据的成为节点表，用来保存属性等。 元数据中有个小指针，指向数据存放的实际空间。 ##元数据（Metadata） 又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持 ...
分类：
系统相关 时间：
2020-06-20 16:57:00
阅读次数：
50
概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消 ...
分类：
其他好文 时间：
2020-06-20 13:33:55
阅读次数：
60
内容繁多，请耐心跟着流程走，在过程中遇到问题请在下面留言。 前言 这几天一直在复习thinkphp5.1，学习环境是phpStudy8.1，但是遇到了文件有缓存的问题（thinkphp5.1.39，修改文件后刷新没有效果那种，需要隔几分钟才正常），百度也没有解决方法，搞了几天，一直没解决，就气着去折 ...
分类：
系统相关 时间：
2020-06-20 11:33:40
阅读次数：
152
