虽说消息队列的用法很简单:PUB/SUB, PRODUCER/CONSUMER,不过真做起来还真麻烦。先说下原始需求:Web前端发送命令消息,后端Consumer处理,然后前端得到结果需要支持Windows服务很快,下图就出来了:先来分析分析:前端怎么知道后端已经处理完成?前端如何在处理完后的第一时...
分类:
其他好文 时间:
2014-10-21 23:09:23
阅读次数:
198
转:http://blog.chinaunix.net/uid-25135004-id-4172954.html测试kafka producer发送消息 和consumer 接受消息报错 ,kafka版本kafka_2.9.2-0.8.1[root@master ~]# /export/kafka/...
分类:
其他好文 时间:
2014-10-11 18:40:56
阅读次数:
403
1.前言首先,描述下应用场景:假设,公司有一款游戏,需要做行为统计分析,数据的源头来自日志,由于用户行为非常多,导致日志量非常大。将日志数据插入数据库然后再进行分析,已经满足不了。最好的办法是存日志,然后通过对日志的分析,计算出有用的数据。我们采用kafka这种分..
分类:
其他好文 时间:
2014-10-08 02:00:35
阅读次数:
562
1 package producer; 2 3 public class SyncStack { 4 int index =0; 5 SteamedBun[] bunArr = new SteamedBun[6]; //栈里只能放6个元素 6 7 ...
分类:
编程语言 时间:
2014-10-07 13:11:23
阅读次数:
228
1、引言 Disruptor是一个开源的Java框架,它被设计用于在生产者—消费者(producer-consumer problem,简称PCP)问题上获得尽量高的吞吐量(TPS)和尽量低的延迟。Disruptor是LMAX在线交易平台的关键组成部分,LMAX平台使用该框架对订单处理速度能达到6....
分类:
其他好文 时间:
2014-10-02 02:19:02
阅读次数:
320
kafka概念:
kafka是一个高吞吐量的流式分布式消息系统,用来处理活动流数据,比如网页的访问量pm,日志等,既能够实时处理大数据信息
也能离线处理。
特点:
1.高吞吐量
2.是一种显式的分布式系统,它假设,数据生产者(producer),代理(brokers)和数据使用者(consum...
分类:
其他好文 时间:
2014-09-29 20:09:12
阅读次数:
196
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?一、入门 1、简介 Kafka is a dist.....
分类:
其他好文 时间:
2014-09-29 11:14:57
阅读次数:
283
生产者消费者问题读者作家问题哲学家吃饭问题生产者消费者问题http://en.wikipedia.org/wiki/Producer%E2%80%93consumer_problem分别用锁、信号量、同步监视器模拟的例子。package thread;import java.util.Random;...
分类:
编程语言 时间:
2014-09-15 22:44:59
阅读次数:
379
package sync;
public class Test {
public static void main(String[] args) {
Test test = new Test();
//Factory factory = Factory.getInstance();
Producer producer = test.new Producer();
produc...
分类:
编程语言 时间:
2014-09-06 12:30:43
阅读次数:
214
Producer生产者顾名思义就是生产数据的线程,Consumer消费者就是使用数据的线程。可以有多个生产者,也可以有多个消费者,当生产者和消费者都是一个的时候,又叫做管道Pipe Pattern。下面简单写了个例子,一个线程加1,一个线程减1,一个生产者、一个消费者,生产者用来加1,消费者用来减1...
分类:
编程语言 时间:
2014-09-05 16:03:01
阅读次数:
233