在broker的配置中，auto.leader.rebalance.enable (false) 那么这个leader是如何进行rebalance的？ 首先在controller启动的时候会打开一个scheduler， if (config.autoLeaderRebalanceEnable) { ...
分类：
Web程序 时间：
2015-10-27 13:07:08
阅读次数：
292
kafka apis反映出kafka broker server可以提供哪些服务，broker server主要和producer，consumer，controller有交互，搞清这些api就清楚了broker server的所有行为 handleOffsetRequest 提供对offset的查...
1.Kafka入门经典教程： http://www.aboutyun.com/thread-12882-1-1.html2.分布式服务框架 Zookeeper -- 管理分布式环境中的数据 https://www.ibm.com/developerworks/cn/opensource/os-cn-...
分类：
其他好文 时间：
2015-10-25 11:59:26
阅读次数：
141
在大数据时代，数据规模变得越来越大。由于数据的增长速度和非结构化的特性，常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理 和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统，以及这个过程中主要遭遇的一些挑战。实践主要立 足建立一套汽车状态...
分类：
其他好文 时间：
2015-10-22 20:55:26
阅读次数：
259
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-10-22 12:15:25
阅读次数：
163
kafka 集群--3个broker 3个zookeeper创建实战准备工作：1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.122. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz3. 分别解压放入到想...
分类：
其他好文 时间：
2015-10-21 12:15:22
阅读次数：
459
今天在用Spark把Kafka的数据往ES写的时候，代码一直报错，错误信息如下：15/10/20 17:28:56 ERROR actor.OneForOneStrategy: org.apache.spark.SparkContextjava.io.NotSerializableException...
分类：
Web程序 时间：
2015-10-20 19:20:24
阅读次数：
382
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
用户日志上报实时统计之编码实践1.概述 本课程的视频教程地址：《Kafka实战项目之编码实践》 该课程我以用户实时上报日志案例为基础，带着大家去完成各个KPI的编码工作，实现生产模块、消费模块，数据持久化，以及应用调度等工作， 通过对这一系列流程的演示，让大家能够去掌握Kafka项目的相关编码以.....
分类：
其他好文 时间：
2015-10-15 20:20:22
阅读次数：
275
