摘要
本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。
High
Level ...
分类：
其他好文 时间：
2016-05-12 13:22:27
阅读次数：
234
摘要
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failo...
分类：
其他好文 时间：
2016-05-12 13:19:28
阅读次数：
232
摘要
本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。
性能测试及集群监控工具
Kafka提供了非常多有用的工具，如Kafka设计解析（三）-
Kafka High Availability （下）中提到的运维类工具—...
分类：
其他好文 时间：
2016-05-12 13:12:57
阅读次数：
255
1、zokeeper的安装及配置
在zokeeper的conf目录下新建zoo.cfg文件，在里面配置如下内容
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# T...
分类：
其他好文 时间：
2016-05-12 12:54:22
阅读次数：
206
六、Kafka主要配置
6.1 Broker Config
属性
默认值
描述
broker.id
必填参数，broker的唯一标识
log.dirs
/tmp/kafka-logs
Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放pa...
分类：
其他好文 时间：
2016-05-12 12:47:53
阅读次数：
145
一、Kafka简介
本文综合了我之前写的kafka相关文章，可作为一个全面了解学习kafka的培训学习资料。
转载请注明出处 : 本文链接（http://blog.csdn.net/suifeng3051/article/details/48053965）
1.1 背景历史
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据...
分类：
其他好文 时间：
2016-05-12 12:45:27
阅读次数：
171
一、Kafka通信机制的整体结构
74EACA88-8B9D-45F8-B7BF-202D658205A9.png
这个图采用的就是我们之前提到的SEDA多线程模型，链接如下：
http://www.jianshu.com/p/e184fdc0ade4
1、对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰...
分类：
其他好文 时间：
2016-05-11 11:30:13
阅读次数：
268
主要需要设置的是conf文件夹中的server.properties文件， broker.id,不同的机器节点，使用不同的id号，不能重复。 num.network.threads=8 num.partitions=8 配置环境变量 vi /home/ochadoop/.bash_profile e ...
分类：
其他好文 时间：
2016-05-11 09:25:09
阅读次数：
92
MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 第一部分：RabbitMQ,ActiveMq,ZeroMq比较 1、 TPS比较 一 ZeroMq 最好， ...
分类：
其他好文 时间：
2016-05-10 20:49:37
阅读次数：
149
kafka是一个分布式的，高吞吐量的、信息分片存储，消息同步复制的开源消息服务，它提供了消息系统的功能，但是采用了独特的设计。kafka最初由LinkedIn设计开发，使用Scala语言编写，用作LinkedIn网站的活动流数据和运营数据处理工具，这其中活动流数据是指页面访问量、被查看内..
分类：
其他好文 时间：
2016-05-10 18:58:58
阅读次数：
120
