一、kafka架构1.1拓扑结构如下图：图.11.2相关概念如图.1中，kafka相关名词解释如下：1.producer：消息生产者，发布消息到kafka集群的终端或服务。2.broker：kafka集群中包含的服务器。3.topic：每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。4.partition：part..
分类：
其他好文 时间：
2017-06-02 01:01:32
阅读次数：
254
Kafka介绍 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统，用Scala写成。 2、Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性， ...
分类：
其他好文 时间：
2017-05-26 00:42:44
阅读次数：
197
Kafka架构 如上图所示，一个典型的kafka集群中包含若干producer（可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干consumer group，以及一个Z ...
分类：
其他好文 时间：
2017-05-23 12:17:23
阅读次数：
422
本文安装环境 操作系统：CentOS6.7 64位 JDK版本：jdk1.8.0_131（要求JDK1.8以上） ZooKeeper版本：3.4.8 Kakfa版本：0.9.0.1(Scala 2.11) Java安装 需要使用JDK1.8以上版本，安装和环境变量的配置参考Linux下安装JDK1. ...
分类：
其他好文 时间：
2017-05-13 19:03:44
阅读次数：
276
Topic：标签名，一个消息队列的名称 Producer：生产者，发布消息 Consumer：消费者，订阅发布消息，进行处理的存在 Broker：kafka集群，有一个、多个Topic Partition：分区，采用分区的设计有几个目的。一是可以处理更多的消息，不受单台服务器的限制。Topic拥有多 ...
分类：
其他好文 时间：
2017-05-09 13:43:37
阅读次数：
151
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2017-05-06 15:12:57
阅读次数：
281
【一】资源准备#3台4C*8G,安装Zookeeper、Kafka、Logstash——Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka;output:Elasticsearch)10.101.2.2610.101.2.27#3台8C*16G,安装Elasticsearch10.101.2.2810..
分类：
其他好文 时间：
2017-05-04 23:11:46
阅读次数：
2545
问题导读： 问题导读： 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 ...
分类：
其他好文 时间：
2017-05-04 22:01:04
阅读次数：
261
版本：kafka_2.10-0.10.1.1 + zookeeper-3.4.9 说明：kafka自带了zookeeper，但是推荐使用独立的zookeeper集群。 前置环境：（参考Hadoop搭建） 1、节点配分配： 192.168.235.138 node1 192.168.235.139 n ...
分类：
其他好文 时间：
2017-04-24 10:15:21
阅读次数：
199
简介 首先简单说下对kafka的理解： 1、kafka是一个分布式的消息缓存系统； 2、kafka集群中的服务器节点都被称作broker 3、kafka的客户端分为：一是producer（消息生产者）负责往消息队列中放入消息；另一类是consumer（消息消费者）负责从消息队列中取消息。客户端和服务 ...
分类：
其他好文 时间：
2017-04-15 00:17:08
阅读次数：
288
