我们知道KeywordMessage就是被kafka发送和存储的对象。所以只需要模拟出这个就可以发送自定义消息了。 比如我需要将用户的id，user,age,address和访问ip和访问date记录为一个消息。我就自定义一个消息格式（id-user-age-address-ip-date）。 我立 ...
分类：
其他好文 时间：
2016-04-07 01:24:56
阅读次数：
170
作为一个messaging system，Kafka遵循了传统的方式，选择由producer向broker push消息并由consumer从broker pull消息。一些logging-centric system，比如Facebook的Scribe和Cloudera的Flume,采用非常不同的 ...
分类：
其他好文 时间：
2016-04-06 23:03:53
阅读次数：
297
opic在逻辑上可以被认为是一个在的queue，每条消费都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。为 了使得Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对应一个文件夹，该文件夹 下存储这个pa ...
分类：
其他好文 时间：
2016-04-06 23:01:46
阅读次数：
309
java提供了方便的API进行kafka消息处理。简单总结一下： 学习参考：http://www.itnose.net/st/6095038.html POM配置（关于LOG4J的配置参看 http://www.cnblogs.com/huayu0815/p/5341712.html） PRODUC ...
分类：
编程语言 时间：
2016-04-06 18:47:49
阅读次数：
205
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整 ...
分类：
其他好文 时间：
2016-04-06 18:28:13
阅读次数：
411
常用开源分布式消息系统 *集群：多台机器组成的系统叫集群。 *ActiveMQ还是支持JMS的一种消息中间件。 *阿里巴巴metaq,rocketmq都有kafka的影子。 *kafka的动态扩容目前是通过zookeeper来完成的。 kafka定义及使用背景 是一个分布式消息系统，由Linkedl ...
分类：
其他好文 时间：
2016-04-05 22:44:12
阅读次数：
296
背景：1.服务器：linuxIP地址分别为：10.243.1.17，10.243.1.18，10.243.1.192.kafka版本：kafka_2.10-0.8.2.23.安装路径：/usr/local/搭建zookeeper集群1.进入解压后的目录/usr/local/kafka_2.10-0.8.2.22.进入config目录下，修改zookeeper.properties文件tickTime=2000dataDi..
分类：
其他好文 时间：
2016-04-05 20:16:54
阅读次数：
554
Logstash配置 input { kafka { zk_connect => "127.0.0.1:2181" topic_id => "cluster" codec => plain reset_beginning => false consumer_threads => 5 dec... ...
分类：
Web程序 时间：
2016-04-05 19:53:28
阅读次数：
230
kafka安装到linux服务器中的情况较多，但是我们现在在学习当中，所以可以拿windows先试试手。要想学kafk那么必然要做一件事就是安装好kafka，下面我讲详细得windows下安装kafka得步骤告诉大家。 第一步:先安装jdk,因为kafka依赖于Java环境,所以确保你的系统中装有J ...
分类：
其他好文 时间：
2016-04-03 17:30:41
阅读次数：
145
kafka概念： kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据。比方网页的訪问量pm,日志等，既可以实时处理大数据信息 也能离线处理。 特点： 1.高吞吐量 2.是一种显式的分布式系统，它如果，数据生产者（producer）,代理（brokers）和数据使用者（consumer） ...
分类：
其他好文 时间：
2016-04-02 13:38:56
阅读次数：
302
