1、创建Maven项目 创建的过程参考：http://blog.csdn.net/tototuzuoquan/article/details/74571374 2、启动Kafka A:安装kafka集群：http://blog.csdn.net/tototuzuoquan/article/detai ...
分类：
Web程序 时间：
2017-07-18 00:00:14
阅读次数：
370
本文介绍LinkedIn开源的Kafka，久仰大名了，依照其官方文档做些翻译和二次创作。相应能够查看整份官方文档。 基本术语 topics。维护的消息源种类（更像是业务上的数据种类/分类） producer。给kafka的某个topic公布消息的进程 consumer，订阅和处理topic的消息的进 ...
分类：
其他好文 时间：
2017-07-16 19:28:29
阅读次数：
221
很多用户都有直接使用程序API操作Kafka集群的需求。在0.11版本之前，kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理操作，但社区官网主页并没有给出这两个类的使用文档。用户只能自行查看源代码和测试用例才能了解具体 ...
分类：
其他好文 时间：
2017-07-15 16:48:41
阅读次数：
259
本节内容： 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一、消息中间件 消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消 ...
分类：
其他好文 时间：
2017-07-15 11:19:34
阅读次数：
212
1，解压 2，重命名 3，起zookeeper集群到指定后台文件（不占用页面） 4，起kafka集群到指定后台文件（不占用页面） 5，查看zookeeper和kafka启动情况 6，新增一个topic 7，所有可以使用的topic 8，查询某个topic的信息 9,删除某个topic 在此之前需要在 ...
分类：
系统相关 时间：
2017-07-12 19:57:43
阅读次数：
261
1、kafka应用场景 基于流数据的发布订阅消息系统、实时流数据的高效异步通信、基于流数据的高可用分布式存储！ 不同的系统之间实时流数据管道; 2、官方一句话概括 kafka是一个分布式流数据平台：可以被用作消息队列，企业级消息系统，具备很强的容错能力;实时处理的能力; 3、kafka的使用 一般都 ...
分类：
其他好文 时间：
2017-07-01 11:58:58
阅读次数：
196
原文链接：http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块 ...
分类：
其他好文 时间：
2017-06-30 12:34:58
阅读次数：
180
一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader 跟进,同步消息即可。由 ...
分类：
其他好文 时间：
2017-06-24 13:12:29
阅读次数：
144
Flume+Kafka整合一、准备工作准备5台内网服务器创建Zookeeper和Kafka集群服务器地址：192.168.2.240192.168.2.241192.168.2.242192.168.2.243192.168.2.244服务器系统：Centos6.564位下载安装包Zookeeper：http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6...
分类：
Web程序 时间：
2017-06-12 22:40:05
阅读次数：
277
一、简介Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。Kafka适合做什么?官方文档介绍，它通常被..
分类：
其他好文 时间：
2017-06-12 22:33:45
阅读次数：
236
