server.properties配置如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.reques...
分类：
其他好文 时间：
2016-01-14 20:56:58
阅读次数：
909
参考site：http://kafka.apache.org/documentation.html#impl_zookeeper1、zookeeper客户端相关命令在确保zookeeper服务启动状态下，通过 bin/zkCli.sh -server 127.0.0.1:2181 该命令来连接客户端...
分类：
其他好文 时间：
2016-01-13 15:57:56
阅读次数：
183
参考site：https://github.com/yahoo/kafka-manager 一、功能管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1....
分类：
其他好文 时间：
2016-01-13 10:39:57
阅读次数：
155
参照site：https://github.com/quantifind/KafkaOffsetMonitor一、简述 这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的....
分类：
其他好文 时间：
2016-01-12 11:39:31
阅读次数：
191
注：0.9版本Kafka的一个重大改变就是consumer和producer API的重新设计。这篇Kafka的文档大致介绍了对于consumer API重新设计时想要实现的功能。0.9版本的确实现了这些功能，具体细节有几篇文档讲了，以后会翻译。MotivationWe've received qu...
分类：
其他好文 时间：
2016-01-11 21:56:55
阅读次数：
221
对topic增加partition 参考官网site：http://kafka.apache.org/documentation.html#basic_ops_modify_topic 通过kafka-topics.sh工具的alter命令，将replicated-topic的partition.....
分类：
其他好文 时间：
2016-01-11 13:35:31
阅读次数：
327
转自：http://www.aboutyun.com/thread-9216-1-1.html使用Storm处理事务型实时计算需求时的几处难点：http://blog.sina.com.cn/s/blog_6ff05a2c0101ficp.html最近搞日志处理，注意是日志处理，如果用流计算处理一些...
分类：
Web程序 时间：
2016-01-10 22:39:12
阅读次数：
219
http://blog.csdn.net/honglei915/article/details/37760631消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一...
分类：
其他好文 时间：
2016-01-10 18:34:48
阅读次数：
193
Commit LogKafka储存消息的文件被它叫做log，按照Kafka文档的说法是：Each partition is an ordered, immutable sequence of messages that is continually appended to—a commit log这...
分类：
其他好文 时间：
2016-01-10 18:25:29
阅读次数：
613
一、集群安装1. Kafka下载：可以从kafka官方网站（http://kafka.apache.org）上找到下载地址，再wgetwgethttp://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz解压该文件： tar z...
分类：
其他好文 时间：
2016-01-10 17:00:33
阅读次数：
228
