生产者消费者问题
(英语:Producer-consumer
problem),也称有限缓冲问题(英语:Bounded-buffer
problem),是一个多线程同步问题的经典案例。该问题描述了两个共享固定大小缓冲区的线程——即所谓的“生产者”和“消费者”——在实际运行时会发生的问题。生产者的主要作用是生成一定量的数据放到缓冲区中,然后重复此过程。与此同时,消费者也在缓冲区消耗这...
分类:
数据库 时间:
2014-12-27 00:21:38
阅读次数:
246
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { ? ? "version": "版本编号目前固定为数字1", ? ? "partitions": { ? ? ? ? "partitionId编号": [ ? ? ?...
分类:
Web程序 时间:
2014-12-24 16:28:20
阅读次数:
165
原文地址:http://www.aboutyun.com/thread-9938-1-1.html问题导读1.Kafka提供了Producer类作为java producer的api,此类有几种发送方式?2.总结调用producer.send方法包含哪些流程?3.Producer难以理解的在什么地方...
分类:
Web程序 时间:
2014-12-24 13:08:58
阅读次数:
189
IntroductionApache Kafkais a distributed publish-subscribe messaging system. It was originally developed at LinkedIn Corporation and later on became a...
分类:
Web程序 时间:
2014-12-23 20:47:23
阅读次数:
262
[This article was originally written by Yves Trudeau.]http://java.dzone.com/articles/exploring-message-brokersMessage brokersare not regularly covered...
分类:
其他好文 时间:
2014-12-22 14:19:03
阅读次数:
230
1.背景最近因为工作需要,调研了追求高吞吐的轻量级消息系统Kafka,打算替换掉线上运行的ActiveMQ,主要是因为明年的预算日流量有十亿,而ActiveMQ的分布式实现的很奇怪,所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验,欢迎拍砖。2.基础知识2.1.什么是消...
分类:
其他好文 时间:
2014-12-21 20:36:57
阅读次数:
290
一、工厂方法模式
简单工厂模式的缺陷就是类的创建太过于依赖工厂,一旦需要进行程序扩展,就必须修改工厂类的代码
这违背了背包原则。
而工厂方法模式针对这一问题进行了改进。
public interface Sender {
public void send();
}
public interface producer {
public Sender produce();
}
...
分类:
其他好文 时间:
2014-12-21 00:44:42
阅读次数:
186
kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为环境配置:
CentOSrelease6.3(Final)
jdk版本:jdk-6u31-linux-x64-rpm.bin
zookeeper版..
分类:
其他好文 时间:
2014-12-19 19:23:50
阅读次数:
225
2014年11月25日,Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug,改进了与Kafka的集成,并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类:
其他好文 时间:
2014-12-17 20:12:03
阅读次数:
223
做kafka相关项目,需要用到监控的东东,找到了两个方法第一个:http://quantifind.com/KafkaOffsetMonitor/非常容易上手,效果也直观,可以显示各个topic consumer的offset broker存储log的长度不过发现一个bug就是当 consumer没...
分类:
其他好文 时间:
2014-12-17 17:55:21
阅读次数:
768