本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failov ...
分类:
其他好文 时间:
2016-07-15 20:39:31
阅读次数:
183
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka ...
分类:
其他好文 时间:
2016-07-15 20:37:08
阅读次数:
185
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继 ...
分类:
其他好文 时间:
2016-07-15 20:04:58
阅读次数:
186
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/08/09/KafkaColumn4 摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level ...
分类:
其他好文 时间:
2016-07-15 20:01:45
阅读次数:
165
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据 ...
分类:
其他好文 时间:
2016-07-15 19:48:24
阅读次数:
282
下载安装地址:http://kafka.apache.org/downloads.html 原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 Kafka主要术语直观解释 BrokerKafka集群包含一个或多个服务器,这种服务器被称为broker To ...
分类:
其他好文 时间:
2016-07-12 13:48:37
阅读次数:
235
上次实现了flume+kafka+hbase+ELK:http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5简单配置如下: 安装依赖 安装 Python 安装 zookeeper wget http://mi ...
分类:
数据库 时间:
2016-07-12 13:38:43
阅读次数:
427
数据生成:
package com.java__SparkStreaming;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import java.util.*;
/**
* Created by Ad...
分类:
其他好文 时间:
2016-07-12 12:18:48
阅读次数:
430
(基于0.10版本) Group Management Protocol Kafka的coordiantor要做的事情就是group management,就是要对一个团队(或者叫组)的成员进行管理。Group management就是要做这些事情: 维持group的成员组成。这包括允许新的成员加入 ...
分类:
其他好文 时间:
2016-07-11 18:57:04
阅读次数:
1268