转载自http://blog.csdn.net/xiaolang85/article/details/18048631==是什么==简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)目标Scope（解决什么问题）kafka开发的主要初衷目标是构建一个...
分类：
其他好文 时间：
2015-11-03 00:33:47
阅读次数：
144
最近在学习kafka，参考官网上的文档，概括kafka的主要设计点，希望能帮助大家对kafka的设计有一个大概的了解，没说清楚的地方，或者不对的地方希望大家指出，相互帮助学习，4.kafka设计简介12344.1动机高吞吐量以支持大数据量的事件流，例如实时日志集结能很好处理大数据积压以..
分类：
其他好文 时间：
2015-11-02 12:15:26
阅读次数：
241
架构图数据流向图1.Flume 的一些核心概念：2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图： Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带....
分类：
数据库 时间：
2015-11-01 22:42:13
阅读次数：
505
一、下载官网的压缩包~二、解压并启动Zookeepertar zxvf kafka_2.11-0.8.2.2.tgz//在kafka根目录下执行./bin/zookeeper-server-start.sh config/zookeeper.properties &三、启动kafkabin/kafk...
分类：
其他好文 时间：
2015-11-01 16:27:17
阅读次数：
242
一.zookeeper下载与安装1）下载adeMacBook-Pro:zookeeper_soft apple$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz2）解压tar z...
分类：
系统相关 时间：
2015-10-30 10:49:07
阅读次数：
259
package?org.phoenix.cases.kafka;import?java.io.File;
import?java.io.FileNotFoundException;
import?java.io.FileReader;
import?java.io.IOException;
import?java.io.RandomAccessFile;
import?jav...
分类：
移动开发 时间：
2015-10-29 16:39:59
阅读次数：
191
在kafka中，我们能创建多种类型的集群，一般如下：单节点——单个broker集群单节点——多broker集群多结点——多broker集群kafka集群中主要有五个组件：Topic：主题主要用于用一个名字标识生产者往kafka发送了什么类型的消息，作为消息归类的标识唯一键。在kafka中，主题被分区...
分类：
其他好文 时间：
2015-10-28 19:11:12
阅读次数：
167
Java?客户端连接Kafka报如下错误 bin/kafka-console-consumer.sh?--zookeeper?255.255.255.255:2181?--topic?eventbustopic
[2015-06-02?16:23:04,375]?WARN?Fetching?topic?metadata?with?correlati...
分类：
编程语言 时间：
2015-10-28 12:56:08
阅读次数：
740
在broker的配置中，auto.leader.rebalance.enable (false) 那么这个leader是如何进行rebalance的？ 首先在controller启动的时候会打开一个scheduler， if (config.autoLeaderRebalanceEnable) { ...
分类：
Web程序 时间：
2015-10-27 13:07:08
阅读次数：
292
kafka apis反映出kafka broker server可以提供哪些服务，broker server主要和producer，consumer，controller有交互，搞清这些api就清楚了broker server的所有行为 handleOffsetRequest 提供对offset的查...
