Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现...
分类：
其他好文 时间：
2015-01-26 12:02:24
阅读次数：
908
单节点安装:
Ip:single:192.168.1.186
1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包
2.解压
[root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/
3.进入解压目录
[root@sing...
分类：
其他好文 时间：
2015-01-25 15:18:05
阅读次数：
260
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类：
Web程序 时间：
2015-01-22 12:47:14
阅读次数：
496
Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例...
分类：
其他好文 时间：
2015-01-22 11:08:23
阅读次数：
183
Kafka的Log存储解析
标签（空格分隔）： kafka
引言
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit...
分类：
其他好文 时间：
2015-01-21 18:16:35
阅读次数：
189
不知不觉，这个系列已经写了好几十篇了。我本来打算把基础介绍完再发放Demo进行整体说明，不过大部分人更喜欢看得见摸得着的表现层，对后端不是太感兴趣，所以我决定先发一个简单的CRUD Demo出来，让大家先感受一下，被应用程序框架封装之后的代码大体是什么样子。 采用EasyUi作为前端框架，主要...
分类：
Web程序 时间：
2015-01-21 13:24:50
阅读次数：
271
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-01-20 15:39:15
阅读次数：
285
Kafka Producer相关代码分析
标签（空格分隔）： kafka
Kafka Producer将用户的消息发送到Kafka集群（准确讲是发送到Broker）。本文将分析Producer相关的代码实现。
类kafka.producer.Producer
如果你自己实现Kafka客户端来发送消息的话，你就是用到这个类提供的接口来发送消息。（如果你对如何利用Producer AP...
分类：
其他好文 时间：
2015-01-17 20:53:34
阅读次数：
233
Kafka的通讯协议
标签:kafka
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。
基本数据类型
定长数据类型：int8,int16,int32和int64，对...
分类：
其他好文 时间：
2015-01-15 20:23:45
阅读次数：
260
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
下面来看下如何简单的使用：
...
分类：
其他好文 时间：
2015-01-14 11:06:44
阅读次数：
150
