问题导读：
1.zookeeper在kafka的作用是什么？
2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？
3.kafka集群consumer和producer状态信息是如何保存的？
4.partitions设计的目的的根本原因是什么？
一、入门
1、简介
Kafka is a distribu...
分类：
其他好文 时间：
2016-06-02 14:39:21
阅读次数：
215
本文共分为三个部分： Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案 1. Kafka Topic创建方式 Kafka Topic创建方式有以下两种表现形式： （1）创建Topic时直接指定Topic Partiti ...
分类：
其他好文 时间：
2016-06-01 21:25:37
阅读次数：
746
hu本期内容：1、Kafka解密背景：目前NoReceivers在企业中使用的越来越多，NoReceivers具有更强的控制度，语义一致性。NoReceivers是我们操作数据来源自然方式，操作数据来源使用一个封装器，且是RDD类型的。所以SparkStreaming就产生了自定义RDD–>KafkaRDD.源码分析：1、K..
分类：
其他好文 时间：
2016-06-01 06:59:16
阅读次数：
288
本期内容：DirectAccessKafka前面有几期我们讲了带Receiver的SparkStreaming应用的相关源码解读。但是现在开发SparkStreaming的应用越来越多的采用NoReceivers（DirectApproach）的方式，NoReceiver的方式的优势：1.更强的控制自由度2.语义一致性其实NoReceivers的方式更符合我..
分类：
其他好文 时间：
2016-05-31 19:16:59
阅读次数：
247
RabbitMQ 基于AMQP实现，传统的messaging queue系统实现，基于Erlang。老牌MQ产品了。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量还在其次。 Kafka linkedin开源的MQ系统，主要特点是基于Pull的模式来处理消息 ...
分类：
其他好文 时间：
2016-05-31 18:32:34
阅读次数：
215
通过KIP32，Kafka的每条消息都加进了时间戳，这个KIP在0.10.0.0被加入。 说到“时间”，先贴张图，娱乐一下(如果对星球大战系列电影不熟的话，请自动略过……) 这个KIP的文档在 KIP-32 - Add timestamps to Kafka message 下面贴一下这个KIP的关 ...
分类：
其他好文 时间：
2016-05-30 19:49:26
阅读次数：
202
Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据
* borker配置就是指配置server.properties文件 *最小配置通常情况下需要在减压缩kafka后，修改config/server.properties 配置文件中的以下两项log.dirs = k...
分类：
其他好文 时间：
2016-05-30 15:28:01
阅读次数：
234
问题导读
1.Kafka独特设计在什么地方？
2.Kafka如何搭建及创建topic、发送消息、消费消息？
3.如何书写Kafka程序？
4.数据传输的事务定义有哪三种？
5.Kafka判断一个节点是否活着有哪两个条件？
6.producer是否直接将数据发送到broker的leader(主节点)？
7.Kafa consumer是否可以消费指定分区消息？
8.Kafka消息是...
分类：
其他好文 时间：
2016-05-30 14:41:12
阅读次数：
302
本期内容 : Direct Acess Kafka Spark Streaming接收数据现在支持的两种方式： 01、 Receiver的方式来接收数据，及输入数据的控制 02、 No Receiver的方式 以上两种方式中，No Receiver的方式更符合读取、操作数据的思路，Spark作为一个 ...
分类：
其他好文 时间：
2016-05-30 07:39:17
阅读次数：
159
一、消息队列，简称MQ，message queue 生产者：生存数据写到kafka，持久化到硬盘。对同一个Topic来讲，生产者通常只有‘一个’（可以多并发）数据保存时常可以配置，默认保存七天。 消费者：从kafka里消费数据。对同一个Topic来讲，消费者会很多，根据业务需要。 kafka的消息分 ...
分类：
其他好文 时间：
2016-05-29 06:20:45
阅读次数：
496
