码迷,mamicode.com
首页 >  
搜索关键字:kafka producer    ( 4768个结果
java消费者生产者模式及JDK之阻塞队列LinkedBlockingQueue实现
生产者消费者问题    (英语:Producer-consumer problem),也称有限缓冲问题(英语:Bounded-buffer problem),是一个多线程同步问题的经典案例。该问题描述了两个共享固定大小缓冲区的线程——即所谓的“生产者”和“消费者”——在实际运行时会发生的问题。生产者的主要作用是生成一定量的数据放到缓冲区中,然后重复此过程。与此同时,消费者也在缓冲区消耗这...
分类:数据库   时间:2014-12-27 00:21:38    阅读次数:246
apache kafka系列之在zookeeper中存储结构
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { ? ? "version": "版本编号目前固定为数字1", ? ? "partitions": { ? ? ? ? "partitionId编号": [ ? ? ?...
分类:Web程序   时间:2014-12-24 16:28:20    阅读次数:165
apache kafka源码分析-Producer分析---转载
原文地址:http://www.aboutyun.com/thread-9938-1-1.html问题导读1.Kafka提供了Producer类作为java producer的api,此类有几种发送方式?2.总结调用producer.send方法包含哪些流程?3.Producer难以理解的在什么地方...
分类:Web程序   时间:2014-12-24 13:08:58    阅读次数:189
Apache Kafka: Next Generation Distributed Messaging System---reference
IntroductionApache Kafkais a distributed publish-subscribe messaging system. It was originally developed at LinkedIn Corporation and later on became a...
分类:Web程序   时间:2014-12-23 20:47:23    阅读次数:262
Exploring Message Brokers: RabbitMQ, Kafka, ActiveMQ, and Kestrel--reference
[This article was originally written by Yves Trudeau.]http://java.dzone.com/articles/exploring-message-brokersMessage brokersare not regularly covered...
分类:其他好文   时间:2014-12-22 14:19:03    阅读次数:230
kafka:一个分布式消息系统
1.背景最近因为工作需要,调研了追求高吞吐的轻量级消息系统Kafka,打算替换掉线上运行的ActiveMQ,主要是因为明年的预算日流量有十亿,而ActiveMQ的分布式实现的很奇怪,所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验,欢迎拍砖。2.基础知识2.1.什么是消...
分类:其他好文   时间:2014-12-21 20:36:57    阅读次数:290
工厂方法模式And抽象工厂模式
一、工厂方法模式 简单工厂模式的缺陷就是类的创建太过于依赖工厂,一旦需要进行程序扩展,就必须修改工厂类的代码 这违背了背包原则。 而工厂方法模式针对这一问题进行了改进。 public interface Sender { public void send(); } public interface producer { public Sender produce(); } ...
分类:其他好文   时间:2014-12-21 00:44:42    阅读次数:186
kafka单机部署
kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为环境配置: CentOSrelease6.3(Final) jdk版本:jdk-6u31-linux-x64-rpm.bin zookeeper版..
分类:其他好文   时间:2014-12-19 19:23:50    阅读次数:225
Storm-0.9.3新特性
2014年11月25日,Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug,改进了与Kafka的集成,并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类:其他好文   时间:2014-12-17 20:12:03    阅读次数:223
kafka监控
做kafka相关项目,需要用到监控的东东,找到了两个方法第一个:http://quantifind.com/KafkaOffsetMonitor/非常容易上手,效果也直观,可以显示各个topic consumer的offset broker存储log的长度不过发现一个bug就是当 consumer没...
分类:其他好文   时间:2014-12-17 17:55:21    阅读次数:768
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!