码迷,mamicode.com
首页 >  
搜索关键字:kafka    ( 4273个结果
第89课:SparkStreaming on Kafka之Kafka解析和安装实战
本篇博文将从以下方面组织内容: 1. Kafka解析 2. 消息组件Kafka 3. Kafka安装 实验搭建所需要的软件: kafka_2.10-0.9.0.1 Zookeeper集群已经安装好。在上一篇博文有安装步骤,不清楚的朋友可以参考下。 一:Kafka解析 1. Kafka是生产者和消费者模式...
分类:其他好文   时间:2016-05-12 22:54:17    阅读次数:591
第99课:使用Spark Streaming+Kafka实战对论坛网站动态行为的多维度分析及java.lang.NoClassDefFoundError问题解决完整内幕版本解密
第99课:使用Spark Streaming 实战对论坛网站动态行为的多维度分析 /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20:00YY频道现场授课频道68917580*/ /**  * *第99课:使用Spark Streaming 实战对论坛网站动态行为的多维度分析  * 论坛数据自动生成代码,该生成的数据会作为Producer的方式发送给...
分类:编程语言   时间:2016-05-12 22:46:54    阅读次数:371
Apache kafka 工作原理介绍(作者原创文章已发表在IBM开发者论坛)
本文首先介绍了 Apache Kafka 的基本原理及专业术语,然后通过一个在线网络游戏的例子进一步解释 Kafka 的功能,最后通过具体案例介绍 Kafka 与 Flume 的差异。...
分类:Web程序   时间:2016-05-12 22:46:19    阅读次数:358
架构设计:系统间通信(30)——Kafka及场景应用(中3)
在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详细讲讲Kafka的设计和使用,另外两年前我在研究Kafka准备将其应用到生产环境时,由于没有仔细理解Kafka的设计结构所导致的问题最后也还没有进行交代。所以我决定即使耽误一些时间,也要将Kafka的原理和使用场景给读者详细讨论讨论。这样,也算是对两年来自己学习和使用Kafka的一个总结。...
分类:其他好文   时间:2016-05-12 22:41:50    阅读次数:199
kafka--高性能的分布式消息系统
kafka是一个分布式的,高吞吐量的、信息分片存储,消息同步复制的开源消息服务,它提供了消息系统的功能,但是采用了独特的设计。...
分类:其他好文   时间:2016-05-12 22:37:03    阅读次数:133
Kafka使用Java客户端进行访问
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 1. maven依赖包 org.apache.kafka kafka-clients <version...
分类:编程语言   时间:2016-05-12 17:55:19    阅读次数:780
Kafka单机、集群模式安装详解(一)
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 1. 所需要的环境Kafka需要以下运行环境: Java 安装参考CentOS 6使用rpm方式安装JDK8 Zookeeper 安装参考:CentOS下ZooKeeper单机模式、集群模式安装2. 下载、解压Kafka安装包Ka...
分类:其他好文   时间:2016-05-12 17:54:50    阅读次数:282
Kafka单机、集群模式安装详解(二)
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 接上篇 Kafka单机、集群模式安装详解(一)6. 单节点多Broker模式Kafka使用可以有多种模式,包括单节点单Broker,单节点多Broker,多节点多Broker。 这里我们简单区分一下: 单节点单Broker:在单台机子...
分类:其他好文   时间:2016-05-12 17:54:31    阅读次数:199
Kafka设计解析(一)- Kafka背景及架构介绍
摘要   Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方式...
分类:其他好文   时间:2016-05-12 13:33:19    阅读次数:285
Kafka设计解析(三)- Kafka High Availability (下)
摘要   本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具,如重新分配Partition等。 Broker F...
分类:其他好文   时间:2016-05-12 13:27:15    阅读次数:238
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!