码迷,mamicode.com
首页 >  
搜索关键字:ELK Beats kafka    ( 5750个结果
Kafka topic常见命令解析
本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等。由于alterTopic并不是很常用,本文中就不涉及了。另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的...
分类:其他好文   时间:2015-06-12 13:15:56    阅读次数:121
为什么是kafka(二)
回答几个网友提出的问题,不清楚的可以看上一篇内容。 1、  kafka的删除策略应该怎么配置?为了提升性能,我是不是应该1小时删除一次消费过的数据。 完全可以根据磁盘大小配置,只要磁盘足够用,完全没必要删除的那么着急。Kafka的吞吐量不会因为数据量的增长而降低。因为读写数据时,kafka完全是顺序的,只记录offset,时间复杂度是O(1),我曾经测试过上T的数据,完全不受影响。反倒是数...
分类:其他好文   时间:2015-06-12 10:11:11    阅读次数:112
【原创】kafka admin源代码分析
admin包定义了命令行的一些实现一、AdminOperationException.scala一个异常类,表示执行admin命令时候抛出的异常二、AdminUtils.scalaadmin一些常用工具方法:1. assignReplicasToBrokers:负责分配副本到不同的broker上。主...
分类:其他好文   时间:2015-06-11 16:20:59    阅读次数:123
kafka文档(转)
来自:http://blog.csdn.net/beitiandijun/article/details/40582541来源:http://kafka.apache.org/documentation.html#configuration3. ConfigurationKafka在配置文件中使.....
分类:其他好文   时间:2015-06-10 20:44:09    阅读次数:192
KafkaOffsetMonitor
Kafka实战-KafkaOffsetMonitor1.概述 前面给大家介绍了Kafka的背景以及一些应用场景,并附带上演示了Kafka的简单示例。然后,在开发的过程当中,我们会发现一些问题,那就是消息的监控情况。虽然,在启动Kafka的相关服务后,我们生产消息和消费消息会在终端控制台显示这些记录....
分类:其他好文   时间:2015-06-09 23:25:42    阅读次数:164
【原创】kafka client源代码分析
该包下只有一个文件:ClientUtils.scala。它是一个object,里面封装了各种client(包括producer,consumer或admin)可能会用到的方法:1. fetchTopicMetadata(producer版本): producer client会调用该方法来发送一个T...
分类:其他好文   时间:2015-06-09 16:42:08    阅读次数:211
【原创】kafka consumer源代码分析
顾名思义,就是kafka的consumer api包。一、ConsumerConfig.scalaKafka consumer的配置类,除了一些默认值常量及验证参数的方法之外,就是consumer的配置参数了,比如group.id, consumer.id等,详细列表见官网。二、ConsumerIt...
分类:其他好文   时间:2015-06-09 15:44:20    阅读次数:552
Kafka设计解析(三)- Kafka High Availability (下)
本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具,如重新分配Partition等。...
分类:其他好文   时间:2015-06-09 12:01:25    阅读次数:124
Kafka实战-KafkaOffsetMonitor
1.概述 前面给大家介绍了Kafka的背景以及一些应用场景,并附带上演示了Kafka的简单示例。然后,在开发的过程当中,我们会发现一些问题,那就是消息的监控情况。虽然,在启动Kafka的相关服务后,我们生产消息和消费消息会在终端控制台显示这些记录信息,但是,这样始终不够友好,而且,在实际开发中,我....
分类:其他好文   时间:2015-06-09 09:48:42    阅读次数:172
flume使用场景 flume与kafka的比较
Is Flume a good fit for your problem?If you need to ingest textual log data into Hadoop/HDFS then Flume is the right fit for your problem, full stop. ...
分类:Web程序   时间:2015-06-08 16:27:09    阅读次数:194
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!