kafka的基本概念 kafka是什么 ？ ? kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 kafka扮演的三大角色 消息系统 ：kafka具备系统解耦、冗余存储、流 ...
分类：
其他好文 时间：
2020-03-20 10:47:33
阅读次数：
76
a1.sources = s1a1.channels = c1a1.sinks = k1 a1.sources.s1.channels = c1a1.sources.s1.type = spooldira1.sources.s1.spoolDir = /home/abby/dataa1.source ...
分类：
Web程序 时间：
2020-03-20 09:16:44
阅读次数：
81
1、消费者与消费者组 假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。 如果消费者组中有两个消费者，那么每个消费者消费两个 partition。 如果消费者组中有4个消费者，那么每个消费者消费一个partition。 如果消费者组中有 ...
分类：
其他好文 时间：
2020-03-19 21:29:18
阅读次数：
65
1、在已经搭建好集群基础上，配置监听机器配置，主机名 hadoop1,flume-conf.properties配置文件 # Licensed to the Apache Software Foundation (ASF) under one # or more contributor licens ...
分类：
Web程序 时间：
2020-03-18 23:45:55
阅读次数：
95
1、main方法中（1.0以上） import org.apache.kafka.clients.consumer.Consumer; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.c ...
分类：
其他好文 时间：
2020-03-18 21:36:32
阅读次数：
83
## kafka的消费时机#### 问题 kafka启动后开始消费的话， 如果此时消费流程中有其他依赖没有启动完成的话，比如 Redis , Mysql ，RPC等就会有空指针或其他问题。这时候就要延后kafka的消费时机。#### 解决kafka启动时，不在启动时开启消费线程。```public ... ...
分类：
其他好文 时间：
2020-03-18 13:51:51
阅读次数：
60
服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类：
其他好文 时间：
2020-03-18 11:45:06
阅读次数：
53
原文:4.【Redis系列】Redis的高级应用-延时队列 我们习惯于用rabbitmq和kafka作为消息中间件，来给应用之间增加异步的能力。但是使用过的同学都知道，使用专业的消息中间件使用起来非常复杂，我们实现一个简单的功能都需要大量的操作。有了redis，可以让我解脱出来，使用redis可以非... ...
分类：
其他好文 时间：
2020-03-18 10:00:40
阅读次数：
58
kafka依赖zookeeper，需要先安装zookeeper，参考:https://www.cnblogs.com/yinchh/p/12494681.html 单机 集群 三台服务器分别为 192.168.0.201 192.168.0.202 192.168.0.203 1.分别修改3台机器的 ...
分类：
其他好文 时间：
2020-03-16 23:21:24
阅读次数：
70
在很多的流处理框架的介绍中，都会说kafka是一个可靠的数据源，并且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比，kafka提供了可靠的数据保存及备份机制。并且通过消费者位移这一概念，可以让消费者在因某些原因宕机而重启后，可以轻易得回到宕机前的位置。 但其实kafka的可靠 ...
分类：
其他好文 时间：
2020-03-16 19:18:08
阅读次数：
78
