Kafka版本是:kafka_2.10-0.8.2.11、maven工程方式在pom.xml中配置kafka依赖12345org.apache.kafkakafka_2.100.8.2.12、普通java工程方式依赖的jar包如下:
分类:
其他好文 时间:
2015-06-08 13:23:12
阅读次数:
126
使用java实现Kafka的生产者123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869pack...
分类:
编程语言 时间:
2015-06-08 13:16:42
阅读次数:
224
使用java实现Kafka的消费者1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071...
分类:
编程语言 时间:
2015-06-08 13:00:25
阅读次数:
257
三台机器:vm1、vm2、vm31、部署zookeeper集群假设已经有一个部署好了的zookeeper集群:zk1、zk2、zk32、下载、解压kafka1tar -xzvf kafka_2.10-0.8.2.1.tgz3、修改vm1上面的config/server.properties1234b...
分类:
其他好文 时间:
2015-06-08 12:58:45
阅读次数:
102
介绍Kafka是一个分布式的、分区的、冗余的日志提交服务。它使用了独特的设计,提供了所有消息传递系统所具有的功能。我们先来看下几个消息传递系统的术语:Kafka维护消息类别的东西是主题(topic).我们称发布消息到Kafka主题的进程叫生产者(producer).我们称订阅主题、获取消息的进程叫消...
分类:
其他好文 时间:
2015-06-08 12:58:20
阅读次数:
4461
Flume的一些组件(如Spooling Directory Source、File Channel)能够保证agent挂掉后不丢失数据。1、负载均衡1)LoadbalancingSinkProcessorsource里的event流经channel,进入sink组,在sink组内部根据负载算法(r...
分类:
Web程序 时间:
2015-06-07 18:52:57
阅读次数:
348
1.Kafka基本术语 Producer :消息生产者,就是向kafka broker发消息的客户端 Consumer :消息消费者,向kafka broker取消息的客户端 Topic :话题,可以理解为一个队列 Consumer Group (CG):这是kafka用来实现...
分类:
其他好文 时间:
2015-06-07 01:08:37
阅读次数:
125
本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。...
分类:
Web程序 时间:
2015-06-06 22:09:12
阅读次数:
547
一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader
跟进,同步消息即可。由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个part...
分类:
其他好文 时间:
2015-06-05 17:37:01
阅读次数:
100
在互联网和大并发的企业级应用中,kafka会越来越重要,会被更多的人重视,就算是不用kafka,也会有跟kafka类似的架构模式、原理差不多的MQ,类似于rocketMQ。现在差的,就是被更多的企业使用,更复杂的场景证明。...
分类:
其他好文 时间:
2015-06-04 08:38:01
阅读次数:
310