1、下载已经编译好的 "kafka manager 2.0.0.2.zip安装包" 2、修改配置文件(xx安装目录/kafka manager 2.0.0.2/conf/application.conf) 3、启动kafka manager服务 4、jps查看进程验证 5、登陆Kafka Manag ...
分类：
其他好文 时间：
2020-05-03 01:10:15
阅读次数：
50
//使用kafka+sparkStreaming进行数据处理 //从kafka拉取数据 package com.swust.predict import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka. ...
分类：
其他好文 时间：
2020-05-02 23:22:17
阅读次数：
114
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
操作系统 Kafka 由 Scala 语言和 Java 语言编写而成，编译之后的源代码就是普通的“.class”文件 应该说部署在 Linux 上的生产环境是最多的 主要是在下面这三个方面上，Linux 的表现更胜一筹。 I/O 模型的使用 数据网络传输效率 社区支持度 主流的 I/O 模型通常有 ...
分类：
其他好文 时间：
2020-05-02 23:13:44
阅读次数：
68
很多参数对系统的影响要比从文档上看更加明显 严格来说这些配置并不单单指 Kafka 服务器端的配置，其中既有 Broker 端参数， 也有主题（后面我用我们更熟悉的 Topic 表示）级别的参数、 JVM 端参数 和操作系统级别的参数 Broker 端参数 目前 Kafka Broker 提供了近 ...
分类：
其他好文 时间：
2020-05-02 23:06:08
阅读次数：
76
主要基于从kafka0.11.0版本开始之后的版本进行描述 1、批处理 传统消息中间件，一次只发送单挑消息；kafka，一次发送多条消息，微批处理。 2、客户端优化 新版客户端摒弃单线程，采用双线程模式——主线程+Sender线程。 主线程负责将消息置入客户端缓存(缓存会将多个消息聚合为1个批次)； ...
分类：
其他好文 时间：
2020-05-02 16:43:55
阅读次数：
56
1.kafka如何扩展分区 https://www.cnblogs.com/wgy1/p/11611345.html 2.kafka如何完整删除topic https://blog.csdn.net/belalds/article/details/80575751 ...
分类：
其他好文 时间：
2020-05-02 09:48:20
阅读次数：
55
喜欢关注个人公众号：java乐园消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构；是大型分布式系统不可缺少的中间件。目前使用较多的消息队列有ActiveMQ、RabbitMQ、Kafka、RocketMQ、MetaMQ等。springboot提供了对JMS系统的支持；springboot很方便就可以集成这些消息中间件。对
分类：
编程语言 时间：
2020-05-02 09:27:36
阅读次数：
55
batch 发送，batch 存储(可压缩, FileChannel 顺序写盘)，batch 拉取(sendFile) 查看 log： kafka-run-class.bat kafka.tools.DumpLogSegments --files D:/tmp/kafka-11-logs/zhang ...
分类：
其他好文 时间：
2020-05-02 00:16:20
阅读次数：
81
1.zookeeper的安装 2.kafka的安装 2.1 从http://kafka.apache.org/ 获得Kafka的安装包，拷贝安装包并解压安装包 tar –zxvf kafka_2.10-0.8.1.1.tgz 2.2 编辑修改配置文件 vi config/server.propert ...
分类：
其他好文 时间：
2020-05-02 00:08:03
阅读次数：
50
