安装部署 先下载zookeeper、kafka zookeeper下载地址:Download kafka下载地址:Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# ...
分类:
其他好文 时间:
2021-02-22 12:46:23
阅读次数:
0
test.kafka.eagle.sasl.enable=true test.kafka.eagle.sasl.protocol=SASL_PLAINTEXT test.kafka.eagle.sasl.mechanism=PLAIN test.kafka.eagle.sasl.jaas.confi ...
分类:
其他好文 时间:
2021-02-22 12:41:44
阅读次数:
0
tomcat 启动tomcat cd /usr/tomcat/apache-tomcat-7.0.57/bin/ ./startup.sh 停止tomcat ./shutdown.sh 查看tomcat日志信息 tail -200f /usr/tomcat/apache-tomcat-7.0.57/ ...
分类:
其他好文 时间:
2021-02-20 11:58:57
阅读次数:
0
线上有一个消息消费服务,主线程批量从kafka拉取消息,然后提交到子线程池中挨个消费。分布式追踪用到的kafka插件会使子线程创建的ThreadLocalScope被循环引用,从而造成内存泄漏。 ...
分类:
其他好文 时间:
2021-02-20 11:53:15
阅读次数:
0
一、概述 1.1、Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。 1.2、Kafka Streams特点 功能强大 高扩展性,弹性,容错 轻量级 轻量级 ...
分类:
其他好文 时间:
2021-02-10 13:05:33
阅读次数:
0
单机启动 1、获取Kafka 2、解压Kafka $ tar -xzf kafka_2.13-2.7.0.tgz $ cd kafka_2.13-2.7.0 3、启动zk(Kafka包中自带zk程序和配置文件) 配置ZK的日志路径 # Start the ZooKeeper service # No ...
分类:
其他好文 时间:
2021-02-04 12:16:31
阅读次数:
0
zookeeper.properties # the directory where the snapshot is stored. dataDir=/tmp/zookeeper # the port at which the clients will connect clientPort=2181 ...
分类:
其他好文 时间:
2021-02-04 12:14:03
阅读次数:
0
启动完kafka后,go run producer.go 程序之后出现 D:\tmp\kafka-logs\__consumer_offsets-48\00000000000000000000.test_log.log: 另一个程序正在使用此文件,进程无法访问。 解决办法,网上说,直接把tmp的这个 ...
分类:
编程语言 时间:
2021-02-03 10:47:28
阅读次数:
0
【消息队列高手课】- 基础篇 消息队列都有哪些选择: RabbitMQ - 特色:Exchange模块,开箱即用 RocketMQ - 特色:低延迟和金融级的稳定性 Kafka - 特色:海量,异步批量,“先攒一波再一起处理” ActiveMQ:队列模型和发布-订阅模型都支持 ZeroMQ Puls ...
分类:
其他好文 时间:
2021-02-02 10:44:45
阅读次数:
0
kafka之所以那么快,其中一个很大的原因就是零拷贝(Zero-copy)技术,零拷贝不会kafka的专利,而是操作系统的升级,又比如Netty,也用到了零拷贝。 传统IO kafka的数据是要落入磁盘的,那么必然牵扯到磁盘的IO,传统磁盘IO又叫做缓存IO,效率是很低的,那么为什么效率低下呢?我们 ...
分类:
其他好文 时间:
2021-02-01 11:58:41
阅读次数:
0