场景:在笔记本安装了一台虚拟机, 在本地的虚拟机上部署了一个kafka服务: 写了一个测试程序,在笔记本上运行测试程序,访问虚拟机上的kafka,报如下异常: 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO]
分类:
其他好文 时间:
2016-03-09 17:43:48
阅读次数:
329
a. Producer到broker 把request.required.acks设为1,丢会重发,丢的概率很小 b. Broker b.1 对于broker,落盘的数据,除非磁盘坏了,不会丢的 b.2 对于内存中没有flush的数据,broker重启会丢 可以通过log.flush.interva
分类:
其他好文 时间:
2016-03-02 22:00:55
阅读次数:
215
生产者 1 package com; 2 import java.util.Properties; 3 import java.util.concurrent.TimeUnit; 4 5 import kafka.javaapi.producer.Producer; 6 import kafka.p
分类:
编程语言 时间:
2016-02-19 19:04:14
阅读次数:
191
1.Kafka独特设计在什么地方?
2.Kafka如何搭建及创建topic、发送消息、消费消息?
3.如何书写Kafka程序?
4.数据传输的事务定义有哪三种?
5.Kafka判断一个节点是否活着有哪两个条件?
6.producer是否直接将数据发送到broker的leader(主节点)?
7.Kafa consumer是否可以消费指定分区消息?
8.Kafka消息是采用Pull模式...
分类:
其他好文 时间:
2016-02-18 12:04:01
阅读次数:
367
理解消息AMQP通信。官方解释: http://www.rabbitmq.com/tutorials/amqp-concepts.html 概念:生产者producer,消费者consumer,队列queue,交换器exchange,路由键routing key,绑定键binding key。 pr...
分类:
其他好文 时间:
2016-02-15 10:28:59
阅读次数:
1092
用 threading.Event() 也可以实现生产者/消费者模式 (自己拍脑袋想出来的,无法知道其正确性,请大神告知为谢!) import threading import time import random products = 20 class Producer(threading.Thr
分类:
编程语言 时间:
2016-02-03 06:40:07
阅读次数:
286
消息指针(Message cursor)是activeMQ里一个非常重要的核心类,它是提供某种优化消息存储的方法。消息中间件的实现一般都是当消费者准备好消费消息的时候,它会从持久化存储中一批一批的读取消息,并发送给消费者。消息指针维护着下一批待读取消息的相关位置信息。 消息游标: 当producer
分类:
其他好文 时间:
2016-02-02 23:22:57
阅读次数:
284
新建了一个kafka集群,在window下写了一个简单的producer做测试,结果遇到了消息发送失败的问题,代码如下: Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:666...
分类:
其他好文 时间:
2016-01-31 02:45:19
阅读次数:
363
简单说kafka是一个高吞吐的分部式消息系统kafka的架构? producer:消息生存者? consumer:消息消费者? broker:kafka集群的server,负责处理消息读、写请求,存储消息? topic:消息队列/分类? Queue里面有生产者消费者模型? broker就是代理,在k...
分类:
其他好文 时间:
2016-01-19 20:54:59
阅读次数:
245
注:0.9版本Kafka的一个重大改变就是consumer和producer API的重新设计。这篇Kafka的文档大致介绍了对于consumer API重新设计时想要实现的功能。0.9版本的确实现了这些功能,具体细节有几篇文档讲了,以后会翻译。MotivationWe've received qu...
分类:
其他好文 时间:
2016-01-11 21:56:55
阅读次数:
221