要持久化的关键数据有三种消息；队列，队列中存放的是消息索引信息，即消息在文件中的物理位置(messageOffset)和在队列中的逻辑位置(queueOffset)的映射信息；队列消费进度，表示当前队列中的消息消费到第几个了；发送消息的设计producer将消息的二进制数据发送到broker；bro...
分类：
其他好文 时间：
2015-09-12 12:09:06
阅读次数：
143
1 NAME 2 Queue - A multi-producer, multi-consumer queue. 3 4 CLASSES 5 Queue 6 LifoQueue 7 PriorityQueue 8 excep...
分类：
编程语言 时间：
2015-09-11 09:07:07
阅读次数：
251
DJ Mr.An (Anky lau) is an China DJ and Producer/Remixer. He lives in Venice, city where his whole music career began. Since the age of 16 he began pla...
分类：
其他好文 时间：
2015-09-08 19:49:43
阅读次数：
115
当你编写kafka Producer时， 会生成KeyedMessage对象。 KeyedMessage<K,?V>?keyedMessage?=?new?KeyedMessage<>(topicName,?key,?message) 这里的key值可以为空，在这种情况下， kafka会将这个消息发送到哪...
分类：
其他好文 时间：
2015-08-25 13:03:42
阅读次数：
334
首先对象必须是可序列化的实现Serializable接口这里HashMap为例producer端HashMap<String,String>map=newHashMap<String,String>();
map.put("param1","姓名");
map.put("param2","年龄");
map.put("param3","性别");
ObjectMessagemessage=session.createObjectMe..
分类：
其他好文 时间：
2015-08-21 17:32:20
阅读次数：
541
这个问题是一个经典问题，https://github.com/alibaba/RocketMQ/issues/44? 这个里面也说明了如何去解决。 但是我遇到的问题这里面没有说明。 事情经过是这样的： 我在Producer 配置 对参数：createTopicKey 进行...
分类：
其他好文 时间：
2015-08-20 13:23:15
阅读次数：
14356
kafka分区及副本在broker的分配部分内容参考自：http://blog.csdn.net/lizhitao/article/details/41778193下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：
(1)
pic(2)当集群中新增2节点，Partition增加到6个时分布情...
分类：
其他好文 时间：
2015-08-11 18:56:59
阅读次数：
169
1.发送消息吞吐量的测试：1）单台producer单个进程的发送消息tps2）单台producer多个进程的发送消息tps3）单台broker的接收消息tps，由于单台producer可能压不满，所以需要可能两台producer来发消息2.消费消息吞吐量的测试：1）单台consumer消费消息的tp...
分类：
其他好文 时间：
2015-08-07 10:49:12
阅读次数：
166
事件驱动架构基础元素：1. 事件生产者（Event Producer）2. 事件监听者（Event Listener）3. 事件（Event）：状态（State）变换产生事件。4. 事件处理器（Event Processor）5.事件反应器（Event Reaction）6. 消息传递骨干(Mess...
分类：
其他好文 时间：
2015-08-06 21:54:37
阅读次数：
128
生产者
import java.util.Properties;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import kafka.serializer.StringEncoder;
...
