【ZooKeeper】服务注册、服务发现、客户端负载均衡、Offset偏移量分布式存储。kafka使用zookeeper来实现动态的集群扩展,不需要更改客户端(producer和consumer)的配置。broker会在zookeeper注册并保持相关的元数据(topic,partition信息等)...
分类:
其他好文 时间:
2015-09-30 06:20:11
阅读次数:
247
引言 Kafka中的Message是以topic为基本单位组织的,不同的 topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定 的),每个partition存储一部分Message...
分类:
其他好文 时间:
2015-09-29 19:07:13
阅读次数:
192
前言: 上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的。======================================================.....
分类:
其他好文 时间:
2015-09-29 13:05:32
阅读次数:
279
基本操作 本节将列一下在Kafka集群上的最常用的操作。所有在本节被提到的工作都可以$KAFKA_HOME/bin目录下找到;并且每个工具都会较详细的打印命令的所有可能的选项。 添加和移除Topic 你可以手动创建一个Topic也...
分类:
其他好文 时间:
2015-09-26 16:02:25
阅读次数:
145
一直在做技术选型,Kafka还要学习scala,蛋疼,MetaQ太重, 朋友推荐HTTPSQS,自己看了几个MQ,最终决定引入轻量级的ZBus. ---这里的版本号是 6.2.0 http://git.oschina.net/rushmore/zbus/tree/6.2.0-release/ 下载...
分类:
其他好文 时间:
2015-09-24 17:52:28
阅读次数:
426
介绍在本教程中,我们会在CentOS/RHEL7中讨论网络管理命令行工具NetworkManagercommandlinetool,也叫nmcli。那些使用ifconfig的用户应该在CentOS7中避免使用ifconfig了。让我们用nmcli工具配置一些网络设置。要得到系统中所有接口的地址信息[root@localhost~]#ipaddrshow示例..
分类:
其他好文 时间:
2015-09-24 11:11:30
阅读次数:
208
kafka 监控插件 1.KafkaOffsetMonitor 项目地址:https://github.com/quantifind/KafkaOffsetMonitor KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。 You can se...
分类:
其他好文 时间:
2015-09-23 17:26:45
阅读次数:
368
博文作者:妳那伊抹微笑博客地址:http://blog.csdn.net/u012185296博文标题:_00023 Kafka 诡异操作_001自己定义Encoder实现Class级别的数据传送以及解析个性签名:世界上最遥远的距离不是天涯,也不是海角。而是我站在妳的面前,妳却感觉不到我的存在技术方...
分类:
Web程序 时间:
2015-09-20 20:37:01
阅读次数:
545
一、Kafka介绍 Kafka是Linkin在2010年开源的分布式发布订阅消息系统,Kafka是高吞吐量的消息订阅系统。二、Kafka结构 Kafka由三部分构成,producer、broker、consumer,即producer生成消息,broker存储消息,consumer消费消息,其中.....
分类:
其他好文 时间:
2015-09-17 00:57:21
阅读次数:
135