引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借...
分类：
其他好文 时间：
2015-10-13 17:27:45
阅读次数：
246
注意：部署Kafka之前先部署环境JAVA、Zookeeper准备三台CentOS_6.5_x64服务器，分别是：IP： 192.168.0.249 dbTest249 Kafka ...
分类：
系统相关 时间：
2015-10-13 15:15:45
阅读次数：
258
1.下载kafkaoffsetmonitor的jar包，最好下国内的，github上有些下载不下来。KafkaOffsetMonitor-assembly-0.2.0.jar 2.新建在kafka的bin下面新建kafka-monitor文件夹，把jar包KafkaOffsetMonitor-assembly-0.2.0...
分类：
其他好文 时间：
2015-10-09 20:06:03
阅读次数：
259
storm是grovvy写的kafka是scala写的storm-kafkastorm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包curator-framework-1.3.3.jar和curator-client..
分类：
其他好文 时间：
2015-10-09 18:29:00
阅读次数：
278
1、增加kafka分区 ./kafka-topics.sh--zookeeper192.168.2.70--alter--topicus_forward--partitions242、查看kafka的topic ./kafka-topics.sh--zookeeper192.168.2.70--list3、查看单个topic的分区，也可以不加topic ./kafka-topics.sh--zookeeper192.168.2.70--describe--topi..
分类：
其他好文 时间：
2015-10-09 18:24:14
阅读次数：
133
flume架构图单节点flume配置flume-1.4.0启动flumebin/flume-ngagent--conf./conf-fconf/flume-conf.properties-Dflume.root.logger=DEBUG,console-nagent-n表示配置文件中agent的名字agent.sources=r1
agent.sinks=s1
agent.channels=c1
agent.sources.r1.channels=c1
agent.si..
分类：
Web程序 时间：
2015-10-04 06:47:55
阅读次数：
525
我们为什么要搭建该系统 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司作为多种类型的数据管道（dat...
分类：
其他好文 时间：
2015-10-03 18:20:27
阅读次数：
191
log4j2依赖org.apache.logging.log4jlog4j-web2.4runtimekafka 依赖org.apache.kafkakafka_2.100.8.2.0log4j2.xml123456789192.168.194.110:9092101112131415161718M...
分类：
其他好文 时间：
2015-09-30 19:35:06
阅读次数：
346
一,添加硬盘 1>挂载好新硬盘后输入fdisk -l命令看当前磁盘信息 2>可以看到除了当前的第一块硬盘外还有一块sdb的第二块硬盘，然后用fdisk /dev/sdb 进行分区 3>进入fdisk命令，输入h可以看到该命令的帮助，按n进行...
分类：
其他好文 时间：
2015-09-30 13:07:25
阅读次数：
177
在对消息进行存储和缓存时，Kafka依赖于文件系统。（Page Cache）线性读取和写入是所有使用模式中最具可预计性的一种方式，因而操作系统采用预读（read-ahead）和后写（write-behind）技术对磁盘读写进行探测并优化后效果也不错。预读就是提前将一个比较大的磁盘块中内容读入内存，后...
分类：
其他好文 时间：
2015-09-30 06:24:05
阅读次数：
279
