一、集群安装1. Kafka下载：可以从kafka官方网站（http://kafka.apache.org）上找到下载地址，再wgetwgethttp://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz解压该文件： tar z...
分类：
其他好文 时间：
2016-01-10 17:00:33
阅读次数：
228
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩...
分类：
Web程序 时间：
2016-01-10 10:27:30
阅读次数：
1222
http://blog.talkingdata.net/?p=3165背景当时的现状：开始使用Kafka的时候，使用的版本是0.7.2，当时的目的是为了替代kestrel，主要是使用Kafka来做消息传输中间件。Kafka解决了我们当时使用Kestrel遇到的最大的三个问题：吞吐量、数据量、一份数据...
分类：
其他好文 时间：
2016-01-09 17:03:46
阅读次数：
226
http://www.haokoo.com/internet/2877400.htmlKafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则...
分类：
其他好文 时间：
2016-01-09 16:54:30
阅读次数：
159
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址： Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1 broker....
分类：
其他好文 时间：
2016-01-08 00:23:57
阅读次数：
665
apache kafka参考http://kafka.apache.org/documentation.html消息队列方式：点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经...
分类：
其他好文 时间：
2016-01-08 00:22:22
阅读次数：
182
1 package com.cn; 2 3 class Test{ 4 public static void main(String [] args){ 5 Q q = new Q(); 6 new Thread(new Producer(q)).star...
分类：
编程语言 时间：
2016-01-08 00:19:53
阅读次数：
166
1. RabbitMQ主要有下面的概念组成: producer, channel, exchange, queue, consumer,2. producer, 消息的发布方. 本身不是RabbitMQ的一部分而是RabbitMQ的客户端.3. channel, channel也可以认为是conne...
分类：
其他好文 时间：
2016-01-07 18:05:32
阅读次数：
148
前言： 最近在研究spark 还有 kafka ， 想通过kafka端获取的数据，利用spark streaming进行一些计算，但搭建整个环境着实不易，故特此写下该过程，分享给大家，希望大家可以少走点弯路，能帮到大家！环境准备： 操作系统 ： ubuntu14.04 LT...
分类：
其他好文 时间：
2016-01-06 21:52:47
阅读次数：
3007
