配置demoagent.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Desc...
分类：
Web程序 时间：
2016-01-22 00:01:25
阅读次数：
368
1，启动kafka自带的zookeeper./zookeeper-server-start.sh ../config/zookeeper.properties1>/dev/null 2>&1 &1>/dev/null 将输出定位到一个空的位置2>&1 错误输出同 1一样定位到空位置&：最后这个&符号...
分类：
其他好文 时间：
2016-01-21 00:29:30
阅读次数：
173
一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请...
分类：
Web程序 时间：
2016-01-20 20:49:39
阅读次数：
345
简单说kafka是一个高吞吐的分部式消息系统kafka的架构? producer：消息生存者? consumer：消息消费者? broker：kafka集群的server，负责处理消息读、写请求，存储消息? topic：消息队列/分类? Queue里面有生产者消费者模型? broker就是代理，在k...
分类：
其他好文 时间：
2016-01-19 20:54:59
阅读次数：
245
最近在学习研究kafka，当我们进行debug跟踪时，就需要研究源码了。kafka的源码是Scala语言，在此就需要Scala环境来运行kafka源码了。接下来记录的是我在IDEA中安装Scala插件。步骤如下：1、IDEA下载地址 http://www.jetbrains.com/idea/2、....
分类：
其他好文 时间：
2016-01-15 12:26:37
阅读次数：
709
server.properties配置如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.reques...
分类：
其他好文 时间：
2016-01-14 20:56:58
阅读次数：
909
参考site：http://kafka.apache.org/documentation.html#impl_zookeeper1、zookeeper客户端相关命令在确保zookeeper服务启动状态下，通过 bin/zkCli.sh -server 127.0.0.1:2181 该命令来连接客户端...
分类：
其他好文 时间：
2016-01-13 15:57:56
阅读次数：
183
参考site：https://github.com/yahoo/kafka-manager 一、功能管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1....
分类：
其他好文 时间：
2016-01-13 10:39:57
阅读次数：
155
搭建前先统一时间，关闭防火墙，使用的jar包版本是1.6.0的服务配置有两种方式第一种：具体步骤如下：1.将jar包传至node1上，解压至根目录2.更改目录名，使用如下命令：mv apache-flume-1.6.0-bin /home/install/flume-1.63.进入flume-1.6...
分类：
Web程序 时间：
2016-01-12 21:28:49
阅读次数：
305
参照site：https://github.com/quantifind/KafkaOffsetMonitor一、简述 这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的....
分类：
其他好文 时间：
2016-01-12 11:39:31
阅读次数：
191
