使用Kafka最新版本0.9Kafka 配置1. 安装首先需要安装Java，推荐安装Java8，不然会出现一些莫名其妙的错误kafka_2.11-0.9.0.0.tgztar -xzfkafka_2.11-0.9.0.0.tgz为了方便，更改一下目录名mvkafka_2.11-0.9.0.0.tgz...
分类：
其他好文 时间：
2015-11-29 00:54:18
阅读次数：
164
High Level Consumer很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个 Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka High Level Consumer提供了一个...
分类：
其他好文 时间：
2015-11-27 19:29:50
阅读次数：
138
1.kafka启动命令nohup bin/kafka-server-start.sh config/server.properties &2.创建topicbin/kafka-topics.sh --create --zookeeper 10.0.178.210:2181 --replication...
分类：
其他好文 时间：
2015-11-27 19:18:22
阅读次数：
123
作者 郭俊 发布于infoq 2015年3月10日Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧.....
分类：
其他好文 时间：
2015-11-27 19:16:09
阅读次数：
223
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢 复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说...
分类：
其他好文 时间：
2015-11-27 19:09:50
阅读次数：
209
Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出编写KafkaSink从$KAFKA...
分类：
Web程序 时间：
2015-11-27 17:43:28
阅读次数：
290
一、输出十遍北京for((i=1;i do> echo '北京';> done二、死循环for((;;))do#java -jar producer.jar /home/csliyb/kafka/sichuan2.txt dpifix_dlcd#java -jar producer.jar /hom...
分类：
系统相关 时间：
2015-11-27 17:25:36
阅读次数：
252
前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。 这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql （项目是maven项目，需要改动mysql配置，提供两种topology：读取本地文件（用来本地测试）；读取服务器...
分类：
数据库 时间：
2015-11-26 21:12:39
阅读次数：
665
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
其他好文 时间：
2015-11-22 23:34:25
阅读次数：
322
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。Kafka底层是基于Scala语言实现的，但是也提供了Java的API接口。Java实现的消息生产者packagecom.lucl.kafka.simple;
importjava.util.Properties;
importkafka.javaapi.producer.Producer;
importkafka.p..
分类：
编程语言 时间：
2015-11-20 00:18:40
阅读次数：
382
