说明：该结果是亲自测试，只提供简单的数据分析，很简陋，结果可能不准确。先说一下结果，多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，..
分类：
Web程序 时间：
2015-10-15 18:51:18
阅读次数：
260
引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借...
分类：
其他好文 时间：
2015-10-13 17:27:45
阅读次数：
246
注意：部署Kafka之前先部署环境JAVA、Zookeeper准备三台CentOS_6.5_x64服务器，分别是：IP： 192.168.0.249 dbTest249 Kafka ...
分类：
系统相关 时间：
2015-10-13 15:15:45
阅读次数：
258
1.下载kafkaoffsetmonitor的jar包，最好下国内的，github上有些下载不下来。KafkaOffsetMonitor-assembly-0.2.0.jar 2.新建在kafka的bin下面新建kafka-monitor文件夹，把jar包KafkaOffsetMonitor-assembly-0.2.0...
分类：
其他好文 时间：
2015-10-09 20:06:03
阅读次数：
259
storm是grovvy写的kafka是scala写的storm-kafkastorm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包curator-framework-1.3.3.jar和curator-client..
分类：
其他好文 时间：
2015-10-09 18:29:00
阅读次数：
278
1、增加kafka分区 ./kafka-topics.sh--zookeeper192.168.2.70--alter--topicus_forward--partitions242、查看kafka的topic ./kafka-topics.sh--zookeeper192.168.2.70--list3、查看单个topic的分区，也可以不加topic ./kafka-topics.sh--zookeeper192.168.2.70--describe--topi..
分类：
其他好文 时间：
2015-10-09 18:24:14
阅读次数：
133
flume架构图单节点flume配置flume-1.4.0启动flumebin/flume-ngagent--conf./conf-fconf/flume-conf.properties-Dflume.root.logger=DEBUG,console-nagent-n表示配置文件中agent的名字agent.sources=r1
agent.sinks=s1
agent.channels=c1
agent.sources.r1.channels=c1
agent.si..
分类：
Web程序 时间：
2015-10-04 06:47:55
阅读次数：
525
我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司作为多种类型的数据管道（dat...
分类：
其他好文 时间：
2015-10-03 18:20:27
阅读次数：
191
