面试题: 1）Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？ 2）Kafka中的HW、LEO等分别代表什么？ 3）Kafka中是怎么体现消息顺序性的？ 4）Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么 ...
分类：
其他好文 时间：
2021-06-02 12:19:54
阅读次数：
0
@ 问题引出 要求将统计结果按照条件输出到不同文件中（分区）。 比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区） 默认Partitioner分区 public class HashPartitioner<K,V> extends Partitioner<K,V>{ public int ...
分类：
其他好文 时间：
2020-07-21 22:12:05
阅读次数：
68
MongoSpark为入口类，调用MongoSpark.load，该方法返回一个MongoRDD类对象，Mongo Spark Connector框架本质上就是一个大号的自定义RDD，加了些自定义配置、适配几种分区器规则、Sql的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析 ...
分类：
其他好文 时间：
2020-06-27 21:35:59
阅读次数：
66
自定义分区器： import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; im ...
分类：
其他好文 时间：
2020-06-25 15:30:00
阅读次数：
55
前一篇总结了下生产者Java API，本篇参照源码总结下生产数据的具体流程，先上图： 1. Producer创建时，会创建一个Sender线程并设置为守护线程 2. 生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创 ...
分类：
其他好文 时间：
2020-06-18 21:10:43
阅读次数：
63
本次的记录内容包括： 1.Java调用生产者APi流程 2.Kafka生产者Api的使用及说明 3.Kafka消费者Api的使用及说明 4.Kafka消费者自动提交Offset和手动提交Offset 5.自定义生产者的拦截器，分区器 那么接下来我就带大家熟悉以上Kafka的知识说明 1.Java调用 ...
分类：
编程语言 时间：
2020-03-10 15:47:49
阅读次数：
74
1、spark中默认的分区器： Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。 只有Key-Value类型的RDD才有分区器的 ...
分类：
其他好文 时间：
2020-02-14 22:47:17
阅读次数：
75
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数 只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD ...
分类：
其他好文 时间：
2019-09-04 09:42:28
阅读次数：
73
在spark中，框架默认使用的事hashPartitioner分区器进行对rdd分区，但是实际生产中，往往使用spark自带的分区器会产生数据倾斜等原因，这个时候就需要我们自定义分区，按照我们指定的字段进行分区。具体的流程步骤如下： 1、创建一个自定义的分区类，并继承Partitioner，注意这个 ...
分类：
其他好文 时间：
2019-06-23 17:30:57
阅读次数：
138
讨论QQ：1586558083 目录 一、分区的概念 二、为什么要进行分区 三、Spark分区原则及方法 3.1 本地模式 3.2 YARN模式 四、分区器 正文 回到顶部 一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式 ...
分类：
其他好文 时间：
2019-06-11 13:21:29
阅读次数：
119
