最近一段时间,使用Kafka比较多。从初期的FE项目中单纯调研Kafka
Producer怎么使用到后面的在弦上项目使用Kafka
Consumer期间,对Kafka有了一个大致的了解。最近由于比较空闲,所以在寻找一些关于Kafka的资料来看。总的来说,Kafka就是一个新型的分布式消息队列开源工具,现成的PDF、书籍是比较少的,最好的资料还是Apache
上的Kafka,Apache Ka...
分类:
其他好文 时间:
2016-05-07 09:14:02
阅读次数:
223
问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a d ...
分类:
其他好文 时间:
2016-05-05 19:07:07
阅读次数:
130
一、概述 Spring Integration Kafka 是基于 Apache Kafka 和Spring Integration来集成Kafka,对开发配置提供了方便。 二、配置 1、spring-kafka-consumer.xml 2、spring-kafka-producer.xml 3、 ...
分类:
编程语言 时间:
2016-05-02 22:44:04
阅读次数:
543
Producer端 1、channel的创建 无论是才用什么样的Exchange,创建channel代码都是相同的,如下 2、Exchange的创建 2.1 direct direct使用默认的Exchange,不需要声明,单需要指定消息发送到那个队列 2.2 fanout 2.3 topic如下 ...
分类:
编程语言 时间:
2016-04-30 15:30:59
阅读次数:
234
装修中... Kafka 新建Topic 查看已存在Topic列表 查看指定Topic状态 启动Consumer读取消息并输出到标准输出 运行Producer并将Terminal输入的消息发送到服务端 Zookeeper ...
分类:
其他好文 时间:
2016-04-27 12:51:07
阅读次数:
169
基本配置metadata.broker.list:broker服务器集群列表,格式为host1:port1,host2:port2...producer.type:消息发送类型同步还是异步,默认为同步compression.codec:消息的压缩格式,默认为none不压缩,也可以为gzip,snappy,lz4serializer.class:消息加密格式,默认为kafka.se..
分类:
其他好文 时间:
2016-04-26 16:07:47
阅读次数:
146
下载配置kafka参考该链接:http://www.cnblogs.com/super-d2/p/4534323.html pom.xml: producer配置文件: consumer配置: producer 测试代码: consumer测试代码: ...
分类:
编程语言 时间:
2016-04-23 16:43:47
阅读次数:
961
部署Flume在Window环境中,Kafka部署在Linux上,从Flume发送事件到Kafka始终有一下错误,经过长时间在网上搜索终于把问题解决,修改kafka中配置项,#advertised.host.name=<hostnameroutablebyclients>注释去掉,并配置上kafka所在linux的ip地址advertised.host.name=192..
分类:
其他好文 时间:
2016-04-16 19:37:08
阅读次数:
2479
Producer.javapackagecom.favccxx.isoft.favkafka;
importjava.util.Properties;
importorg.apache.kafka.clients.producer.KafkaProducer;
importorg.apache.kafka.clients.producer.Producer;
importorg.apache.kafka.clients.producer.ProducerRecord;
importorg.slf4j.Logg..
分类:
其他好文 时间:
2016-04-13 20:55:13
阅读次数:
156
我们知道KeywordMessage就是被kafka发送和存储的对象。所以只需要模拟出这个就可以发送自定义消息了。 比如我需要将用户的id,user,age,address和访问ip和访问date记录为一个消息。我就自定义一个消息格式(id-user-age-address-ip-date)。 我立 ...
分类:
其他好文 时间:
2016-04-07 01:24:56
阅读次数:
170