码迷,mamicode.com
首页 >  
搜索关键字:kafka producer    ( 4768个结果
idea安装Scala插件
最近在学习研究kafka,当我们进行debug跟踪时,就需要研究源码了。kafka的源码是Scala语言,在此就需要Scala环境来运行kafka源码了。接下来记录的是我在IDEA中安装Scala插件。步骤如下:1、IDEA下载地址 http://www.jetbrains.com/idea/2、....
分类:其他好文   时间:2016-01-15 12:26:37    阅读次数:709
kafka_zookeeper_配置文件配置
server.properties配置如下:broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.reques...
分类:其他好文   时间:2016-01-14 20:56:58    阅读次数:909
kafka在zookeeper中的存储结构
参考site:http://kafka.apache.org/documentation.html#impl_zookeeper1、zookeeper客户端相关命令在确保zookeeper服务启动状态下,通过 bin/zkCli.sh -server 127.0.0.1:2181 该命令来连接客户端...
分类:其他好文   时间:2016-01-13 15:57:56    阅读次数:183
kafka管理器kafka-manager部署安装
参考site:https://github.com/yahoo/kafka-manager 一、功能管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1....
分类:其他好文   时间:2016-01-13 10:39:57    阅读次数:155
kafka消息监控-KafkaOffsetMonitor
参照site:https://github.com/quantifind/KafkaOffsetMonitor一、简述 这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partition的....
分类:其他好文   时间:2016-01-12 11:39:31    阅读次数:191
Consumer Client Re-Design (翻译)
注:0.9版本Kafka的一个重大改变就是consumer和producer API的重新设计。这篇Kafka的文档大致介绍了对于consumer API重新设计时想要实现的功能。0.9版本的确实现了这些功能,具体细节有几篇文档讲了,以后会翻译。MotivationWe've received qu...
分类:其他好文   时间:2016-01-11 21:56:55    阅读次数:221
在kafka上对topic新增partition
对topic增加partition 参考官网site:http://kafka.apache.org/documentation.html#basic_ops_modify_topic 通过kafka-topics.sh工具的alter命令,将replicated-topic的partition.....
分类:其他好文   时间:2016-01-11 13:35:31    阅读次数:327
flume-kafka-storm日志处理经验
转自:http://www.aboutyun.com/thread-9216-1-1.html使用Storm处理事务型实时计算需求时的几处难点:http://blog.sina.com.cn/s/blog_6ff05a2c0101ficp.html最近搞日志处理,注意是日志处理,如果用流计算处理一些...
分类:Web程序   时间:2016-01-10 22:39:12    阅读次数:219
【转载】Kafka实现篇之消息和日志
http://blog.csdn.net/honglei915/article/details/37760631消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成,my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件,每个数据文件都是一...
分类:其他好文   时间:2016-01-10 18:34:48    阅读次数:193
Kafka的消息格式
Commit LogKafka储存消息的文件被它叫做log,按照Kafka文档的说法是:Each partition is an ordered, immutable sequence of messages that is continually appended to—a commit log这...
分类:其他好文   时间:2016-01-10 18:25:29    阅读次数:613
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!