# Flume test file# Listens via Avro RPC on port 41414 and dumps data received to the logagent.channels = ch-1agent.sources = src-1agent.sinks = sink-1 ...
分类：
Web程序 时间：
2016-05-05 19:24:54
阅读次数：
854
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2016-05-05 19:07:07
阅读次数：
130
本课分2部分讲解：第一部分，讲解Kafka的概念、架构和用例场景；第二部分，讲解Kafka的安装和实战。由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成SparkStreaming和Kafka。一、Kafka的概念、架构和用例场景http://kafka...
分类：
其他好文 时间：
2016-05-04 06:47:08
阅读次数：
235
管理工具 Kafka Manager 一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这 ...
分类：
其他好文 时间：
2016-05-03 20:23:34
阅读次数：
352
在本月初的写作计划中，我本来只打算粗略介绍一下Kafka（同样是因为进度原因）。但是，最近有很多朋友要求我详细讲讲Kafka的设计和使用，另外两年前我在研究Kafka准备将其应用到生产环境时，由于没有仔细理解Kafka的设计结构所导致的问题最后也还没有进行交代。所以我决定即使耽误一些时间，也要将Kafka的原理和使用场景给读者详细讨论讨论。这样，也算是对两年来自己在分布式思想上学习进度的一个总结。...
分类：
其他好文 时间：
2016-05-03 09:26:58
阅读次数：
274
一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中 ...
分类：
其他好文 时间：
2016-05-03 00:21:06
阅读次数：
344
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/08/09/KafkaColumn4 摘要 本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level ...
分类：
其他好文 时间：
2016-05-02 22:51:47
阅读次数：
263
一、概述 Spring Integration Kafka 是基于 Apache Kafka 和Spring Integration来集成Kafka，对开发配置提供了方便。 二、配置 1、spring-kafka-consumer.xml 2、spring-kafka-producer.xml 3、 ...
分类：
编程语言 时间：
2016-05-02 22:44:04
阅读次数：
543
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka ...
分类：
其他好文 时间：
2016-05-02 22:41:43
阅读次数：
289
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failov ...
分类：
其他好文 时间：
2016-05-02 21:30:16
阅读次数：
290
