http://www.haokoo.com/internet/2877400.htmlKafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则...
分类：
其他好文 时间：
2016-01-09 16:54:30
阅读次数：
159
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址： Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1 broker....
分类：
其他好文 时间：
2016-01-08 00:23:57
阅读次数：
665
版本 0.9.2创建topicbin/kafka-topics.sh --create --topic topic_name --partition 6 --replication-factor 1 -zookeeper 10.27.100.207:2181,10.27.100.144:2181,1...
分类：
其他好文 时间：
2016-01-06 17:49:37
阅读次数：
190
Kafka简介在当前的大数据时代，第一个挑战是海量数据的收集，另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息，例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的...
分类：
其他好文 时间：
2016-01-02 01:05:40
阅读次数：
265
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了...
分类：
其他好文 时间：
2015-12-30 13:12:23
阅读次数：
204
摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与R....
分类：
其他好文 时间：
2015-12-18 18:58:59
阅读次数：
240
Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发。为了帮助producer做到这点，所有的Kafka节点都可以及时的告知:哪些节点是活动的，目标topic目标分区的leader在哪。这样producer就可以直接将消息...
分类：
其他好文 时间：
2015-12-17 12:21:51
阅读次数：
146
Kafka它是一个分布式消息中间件，我们可以大致分为三个部分：Producer、Broker和Consumer。当中，Producer负责产生消息并负责将消息发送给Kafka；Broker能够简单的理解为Kafka集群中的每一台机器，其负责完毕消息队列的主要功能（接收消息、消息的持久化存储、为Con...
分类：
其他好文 时间：
2015-12-09 11:56:18
阅读次数：
324
1、下载kafka，并上传到服务器2、如果之前没安装zookeeper，这里可以启动一个简单的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &3、配置kafka集群（多个broker）cp config/ser....
分类：
其他好文 时间：
2015-12-05 17:49:01
阅读次数：
387
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢 复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说...
分类：
其他好文 时间：
2015-11-27 19:09:50
阅读次数：
209
