kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法超越当前磁盘大小.因此...
分类：
其他好文 时间：
2015-09-30 06:20:50
阅读次数：
426
【ZooKeeper】服务注册、服务发现、客户端负载均衡、Offset偏移量分布式存储。kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）...
分类：
其他好文 时间：
2015-09-30 06:20:11
阅读次数：
247
引言 Kafka中的Message是以topic为基本单位组织的，不同的 topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定 的)，每个partition存储一部分Message...
分类：
其他好文 时间：
2015-09-29 19:07:13
阅读次数：
192
前言: 上周末自己学习了一下Kafka，参考网上的文章，学习过程中还是比较顺利的，遇到的一些问题最终也都解决了，现在将学习的过程记录与此，供以后自己查阅，如果能帮助到其他人，自然是更好的。======================================================.....
分类：
其他好文 时间：
2015-09-29 13:05:32
阅读次数：
279
基本操作 本节将列一下在Kafka集群上的最常用的操作。所有在本节被提到的工作都可以$KAFKA_HOME/bin目录下找到；并且每个工具都会较详细的打印命令的所有可能的选项。 添加和移除Topic 你可以手动创建一个Topic也...
分类：
其他好文 时间：
2015-09-26 16:02:25
阅读次数：
145
一直在做技术选型，Kafka还要学习scala,蛋疼，MetaQ太重， 朋友推荐HTTPSQS,自己看了几个MQ,最终决定引入轻量级的ZBus. ---这里的版本号是 6.2.0 http://git.oschina.net/rushmore/zbus/tree/6.2.0-release/ 下载...
分类：
其他好文 时间：
2015-09-24 17:52:28
阅读次数：
426
kafka 监控插件 1.KafkaOffsetMonitor 项目地址：https://github.com/quantifind/KafkaOffsetMonitor KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。 You can se...
分类：
其他好文 时间：
2015-09-23 17:26:45
阅读次数：
368
博文作者：妳那伊抹微笑博客地址：http://blog.csdn.net/u012185296博文标题：_00023 Kafka 诡异操作_001自己定义Encoder实现Class级别的数据传送以及解析个性签名：世界上最遥远的距离不是天涯，也不是海角。而是我站在妳的面前，妳却感觉不到我的存在技术方...
分类：
Web程序 时间：
2015-09-20 20:37:01
阅读次数：
545
一、Kafka介绍 Kafka是Linkin在2010年开源的分布式发布订阅消息系统，Kafka是高吞吐量的消息订阅系统。二、Kafka结构 Kafka由三部分构成，producer、broker、consumer，即producer生成消息，broker存储消息，consumer消费消息，其中.....
分类：
其他好文 时间：
2015-09-17 00:57:21
阅读次数：
135
