1、消费者与消费者组 假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。 如果消费者组中有两个消费者，那么每个消费者消费两个 partition。 如果消费者组中有4个消费者，那么每个消费者消费一个partition。 如果消费者组中有 ...
分类：
其他好文 时间：
2020-03-19 21:29:18
阅读次数：
65
1、main方法中（1.0以上） import org.apache.kafka.clients.consumer.Consumer; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.c ...
分类：
其他好文 时间：
2020-03-18 21:36:32
阅读次数：
83
## kafka的消费时机#### 问题 kafka启动后开始消费的话， 如果此时消费流程中有其他依赖没有启动完成的话，比如 Redis , Mysql ，RPC等就会有空指针或其他问题。这时候就要延后kafka的消费时机。#### 解决kafka启动时，不在启动时开启消费线程。```public ... ...
分类：
其他好文 时间：
2020-03-18 13:51:51
阅读次数：
60
服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类：
其他好文 时间：
2020-03-18 11:45:06
阅读次数：
53
原文:4.【Redis系列】Redis的高级应用-延时队列 我们习惯于用rabbitmq和kafka作为消息中间件，来给应用之间增加异步的能力。但是使用过的同学都知道，使用专业的消息中间件使用起来非常复杂，我们实现一个简单的功能都需要大量的操作。有了redis，可以让我解脱出来，使用redis可以非... ...
分类：
其他好文 时间：
2020-03-18 10:00:40
阅读次数：
58
kafka依赖zookeeper，需要先安装zookeeper，参考:https://www.cnblogs.com/yinchh/p/12494681.html 单机 集群 三台服务器分别为 192.168.0.201 192.168.0.202 192.168.0.203 1.分别修改3台机器的 ...
分类：
其他好文 时间：
2020-03-16 23:21:24
阅读次数：
70
在很多的流处理框架的介绍中，都会说kafka是一个可靠的数据源，并且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比，kafka提供了可靠的数据保存及备份机制。并且通过消费者位移这一概念，可以让消费者在因某些原因宕机而重启后，可以轻易得回到宕机前的位置。 但其实kafka的可靠 ...
分类：
其他好文 时间：
2020-03-16 19:18:08
阅读次数：
78
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-03-15 18:59:04
阅读次数：
159
1.安装scala 2.11.8 2.解压下载包 cd ~/下载 sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app cd ~/app sudo mv kafka_2.11-0.10.1.0/ ./kafka sudo chown -R hadoop ./k ...
分类：
其他好文 时间：
2020-03-14 19:56:39
阅读次数：
121
作为一个Java进阶的架构师海量数据处理可不仅仅是消息处理，kafka是一个针对海量消息数据的处理的技术，同样也有数据库读写数据处理等等方面的大型架构项目周后期必备技能，MyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySQL协议的服务器；它的后端可以支持MySQL、SQL ...
分类：
其他好文 时间：
2020-03-14 17:03:16
阅读次数：
58
