传统的消息模型有两种模型,队列模型和发布-订阅模式。
1. 队列形式中,一群消费者可能从server那边读消息,而每条消息会流向他们中的一个。
2. 发布-订阅模式中,消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念(下面把它翻译为"消费组"),把两者结合了。。
消费者给自己标志了一个消费组名,每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例,这些消费者实例可以是不同的进程,存在在不同的机器上。
如果所有的消费者在同一个消费组里,那么这相当于是...
分类:
其他好文 时间:
2014-05-21 16:12:44
阅读次数:
279
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理,
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始,
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类:
其他好文 时间:
2014-05-14 20:23:57
阅读次数:
519
System.setProperty("weibo4j.oauth.consumerKey",
Weibo.CONSUMER_KEY);System.setProperty("weibo4j.oauth.consumerSecret",
Weibo.CONSUMER_SECRET); Wei...
分类:
其他好文 时间:
2014-05-09 18:32:05
阅读次数:
312
做了这么多软件开发,下列一些知识不一定都懂。 首先,说一些电子商务扫盲的名词:
常见的电子商务类型有:C2C、B2B、B2C、C2B、O2O等等,下面来简要说明下这几种类型。C2C(Customer To
Consumer)消费者与消费者之间的电子商务,指客户间(个人与个人间)通过Inter...
分类:
其他好文 时间:
2014-05-08 18:47:16
阅读次数:
352
eventloop 用作 non-blockingIO 和定时器。threadpool
用来做计算,具体可以是任务队列或消费者-生产者队列任务对列,生产消费者 线程池TaskQueue、Producer-Consumer Queue、
CountDownLatchPTHREAD_MUTEX_ERRO...
分类:
其他好文 时间:
2014-05-08 10:09:52
阅读次数:
241