背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消....
分类:
其他好文 时间:
2015-12-30 13:16:17
阅读次数:
229
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档Configuration比较老了,很多参数有所变动, 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了...
分类:
其他好文 时间:
2015-12-30 13:12:23
阅读次数:
204
常见的异步事件处理框架有:node.jsnettyakkadisruptor消息服务器:zeromq,rabbitmq,kafka,activemq缓存服务器:redismemcachemongodb负载均衡:lvs+nginx
分类:
其他好文 时间:
2015-12-29 22:28:58
阅读次数:
218
apache kafka中国社区QQ群:1622725571、监控目标 1.当系统可能或处于亚健康状态时及时提醒,预防故障发生 2.报警提示 a.短信方式 b.邮件2、监控内容2.1 机器监控Kafkaserver指标CPU LoadDisk IOMemory磁盘log.dirs文件夹下数据文件大....
分类:
Web程序 时间:
2015-12-29 14:32:44
阅读次数:
836
分布式系统实践1.Kafka深度解析http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/要点:这篇文章深入的讲解了kafka的架构设计, 数据复制算法以及kafka的性能等多个方面, 是理解和学习ka...
分类:
其他好文 时间:
2015-12-28 09:03:19
阅读次数:
784
Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目...
分类:
其他好文 时间:
2015-12-28 00:52:07
阅读次数:
219
# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work....
分类:
其他好文 时间:
2015-12-27 23:20:52
阅读次数:
351
自己使用的版本为zookeeper-3.4.7.tar.gz和kafka_2.10-0.9.0.0.tgz。首先要安装JDK(jdk-7u9-linux-i586.tar.gz)和SSH,IP地址的分配为Kafka1(192.168.56.136),Kafka2(192.168.56.137),Ka...
分类:
其他好文 时间:
2015-12-27 13:26:51
阅读次数:
426
purgatory的超时检测当一个DelayedOpeartion超时(timeout)时,它需要被检测出来,然后调用它的回调方法。这个事情看起来很简单,但做好也并不容易。0.8.x的Kafka的实现简单明了,但是效率不高。这些版本的Kafka的delayed request实现了java.util...
分类:
其他好文 时间:
2015-12-27 13:22:27
阅读次数:
166