下半部分主要是 Topic 级别参数、JVM 参数以及操作系统参数的设置 正确设置这些参数是搭建高性能 Kafka 集群的关键因素 Topic 级别参数 如果同时设置了 Topic 级别参数和全局 Broker 参数 答案就是 Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topi ...
分类：
其他好文 时间：
2020-05-03 14:18:46
阅读次数：
61
1、下载已经编译好的 "kafka manager 2.0.0.2.zip安装包" 2、修改配置文件(xx安装目录/kafka manager 2.0.0.2/conf/application.conf) 3、启动kafka manager服务 4、jps查看进程验证 5、登陆Kafka Manag ...
分类：
其他好文 时间：
2020-05-03 01:10:15
阅读次数：
50
//使用kafka+sparkStreaming进行数据处理 //从kafka拉取数据 package com.swust.predict import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka. ...
分类：
其他好文 时间：
2020-05-02 23:22:17
阅读次数：
114
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
操作系统 Kafka 由 Scala 语言和 Java 语言编写而成，编译之后的源代码就是普通的“.class”文件 应该说部署在 Linux 上的生产环境是最多的 主要是在下面这三个方面上，Linux 的表现更胜一筹。 I/O 模型的使用 数据网络传输效率 社区支持度 主流的 I/O 模型通常有 ...
分类：
其他好文 时间：
2020-05-02 23:13:44
阅读次数：
68
很多参数对系统的影响要比从文档上看更加明显 严格来说这些配置并不单单指 Kafka 服务器端的配置，其中既有 Broker 端参数， 也有主题（后面我用我们更熟悉的 Topic 表示）级别的参数、 JVM 端参数 和操作系统级别的参数 Broker 端参数 目前 Kafka Broker 提供了近 ...
分类：
其他好文 时间：
2020-05-02 23:06:08
阅读次数：
76
主要基于从kafka0.11.0版本开始之后的版本进行描述 1、批处理 传统消息中间件，一次只发送单挑消息；kafka，一次发送多条消息，微批处理。 2、客户端优化 新版客户端摒弃单线程，采用双线程模式——主线程+Sender线程。 主线程负责将消息置入客户端缓存(缓存会将多个消息聚合为1个批次)； ...
分类：
其他好文 时间：
2020-05-02 16:43:55
阅读次数：
56
1、缓存预热 缓存冷启动，redis启动后，一点数据都没有，直接就对外提供服务了，mysql就裸奔 （1）提前给redis中灌入部分数据，再提供服务（2）肯定不可能将所有数据都写入redis，因为数据量太大了，第一耗费的时间太长了，第二根本redis容纳不下所有的数据（3）需要根据当天的具体访问情况 ...
分类：
其他好文 时间：
2020-05-02 12:07:28
阅读次数：
69
讲了手写了storm wordcount程序 蕴含了很多的知识点 （1）Spout（2）Bolt（3）OutputCollector，Declarer（4）Topology（5）设置worker，executor，task，流分组 storm的核心基本原理，基本的开发，学会了 storm集群部署，怎 ...
分类：
编程语言 时间：
2020-05-02 11:51:07
阅读次数：
65
1.kafka如何扩展分区 https://www.cnblogs.com/wgy1/p/11611345.html 2.kafka如何完整删除topic https://blog.csdn.net/belalds/article/details/80575751 ...
分类：
其他好文 时间：
2020-05-02 09:48:20
阅读次数：
55
