本篇博文将从以下方面组织内容:
1. Kafka解析
2. 消息组件Kafka
3. Kafka安装
实验搭建所需要的软件:
kafka_2.10-0.9.0.1
Zookeeper集群已经安装好。在上一篇博文有安装步骤,不清楚的朋友可以参考下。
一:Kafka解析
1. Kafka是生产者和消费者模式...
分类:
其他好文 时间:
2016-05-12 22:54:17
阅读次数:
591
第99课:使用Spark Streaming 实战对论坛网站动态行为的多维度分析
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/
/**
* *第99课:使用Spark Streaming 实战对论坛网站动态行为的多维度分析
* 论坛数据自动生成代码,该生成的数据会作为Producer的方式发送给...
分类:
编程语言 时间:
2016-05-12 22:46:54
阅读次数:
371
本文首先介绍了 Apache Kafka 的基本原理及专业术语,然后通过一个在线网络游戏的例子进一步解释 Kafka 的功能,最后通过具体案例介绍 Kafka 与 Flume 的差异。...
分类:
Web程序 时间:
2016-05-12 22:46:19
阅读次数:
358
在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详细讲讲Kafka的设计和使用,另外两年前我在研究Kafka准备将其应用到生产环境时,由于没有仔细理解Kafka的设计结构所导致的问题最后也还没有进行交代。所以我决定即使耽误一些时间,也要将Kafka的原理和使用场景给读者详细讨论讨论。这样,也算是对两年来自己学习和使用Kafka的一个总结。...
分类:
其他好文 时间:
2016-05-12 22:41:50
阅读次数:
199
kafka是一个分布式的,高吞吐量的、信息分片存储,消息同步复制的开源消息服务,它提供了消息系统的功能,但是采用了独特的设计。...
分类:
其他好文 时间:
2016-05-12 22:37:03
阅读次数:
133
本文环境如下:
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
1. maven依赖包
org.apache.kafka
kafka-clients
<version...
分类:
编程语言 时间:
2016-05-12 17:55:19
阅读次数:
780
本文环境如下:
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
1. 所需要的环境Kafka需要以下运行环境:
Java 安装参考CentOS 6使用rpm方式安装JDK8
Zookeeper 安装参考:CentOS下ZooKeeper单机模式、集群模式安装2. 下载、解压Kafka安装包Ka...
分类:
其他好文 时间:
2016-05-12 17:54:50
阅读次数:
282
本文环境如下:
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
接上篇 Kafka单机、集群模式安装详解(一)6. 单节点多Broker模式Kafka使用可以有多种模式,包括单节点单Broker,单节点多Broker,多节点多Broker。
这里我们简单区分一下:
单节点单Broker:在单台机子...
分类:
其他好文 时间:
2016-05-12 17:54:31
阅读次数:
199
摘要
Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方式...
分类:
其他好文 时间:
2016-05-12 13:33:19
阅读次数:
285
摘要
本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具,如重新分配Partition等。
Broker
F...
分类:
其他好文 时间:
2016-05-12 13:27:15
阅读次数:
238