今天开会讨论日志处理为什么要同时使用Flume和Kafka，是否可以只用Kafka 不使用Flume？当时想到的就只用Flume的接口多，不管是输入接口(socket 和 文件)以及输出接口(Kafka/HDFS/HBase等)。 考虑单一应用场景，从简化系统的角度考虑，在满足应用需求的情况下可能只 ...
分类：
Web程序 时间：
2016-09-01 21:18:04
阅读次数：
971
1.概述 在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提 ...
分类：
其他好文 时间：
2016-09-01 14:35:58
阅读次数：
240
首先Flume和Kafka都是消息系统，但是它俩也有着很多不同的地方，Flume更趋向于消息采集系统，而Kafka更趋向于消息缓存系统。 【一】设计上的不同 Flume是消息采集系统，它主要解决问题是消息的多元采集。因此Flume在实现上提供了多达十几种的Flume Source，以供用户根据不同的 ...
分类：
Web程序 时间：
2016-08-31 22:17:36
阅读次数：
504
问题来源 问题往往都是这样来的突然，让我措手不及。 小孩没娘说来话长啊，操作系统是centos6.5因此默认自带的python是2.6.6的，突然有一天我要写一个关于kafka topic消费情况的监控，因此我需要安装一个包，很不巧这个包要求很特殊需要python2.7，没招只能升级了，升级比较简单 ...
分类：
编程语言 时间：
2016-08-31 22:00:55
阅读次数：
784
调用封装好的Producer，结合Kafka监控工具KafkaOffsetMonitor的使用与分析。
分类：
其他好文 时间：
2016-08-31 09:29:28
阅读次数：
603
向Kafka中输入数据，抛异常org.apache.kafka.common.errors.RecordTooLargeException官网两个参数描述如下：message.max.bytesThemaximumsizeofmessagethattheservercanreceiveint1000012[0,...]highfetch.message.max.bytes1024*1024Thenumberofbyesofmessagestoattempttofetc..
分类：
Web程序 时间：
2016-08-30 22:58:15
阅读次数：
13649
在启动Flume的时候，出现下面的异常，但是程序照样能运行，Kafka也能够收到数据，只是偶尔会断点。 2016-08-25 15:32:54,561 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Loggin ...
分类：
Web程序 时间：
2016-08-30 20:59:02
阅读次数：
876
由于只是简单地了解和使用了kafka，所以对底层的东西并不做深入的分析，网上有很多资料介绍 kafka的安装以及它的配置，包括zookeeper集群的搭建。本文是在环境搭建好的情况下，介绍kafka在Maven项目中该如何使用。 1、kafka的配置文件 如果生产者和消费者都在一个模块里，那就只需要 ...
分类：
其他好文 时间：
2016-08-30 12:15:55
阅读次数：
259
Kafka自定义Producer以及Partitioner，并对Producer进行一定的封装。
分类：
其他好文 时间：
2016-08-30 09:35:26
阅读次数：
925
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要 ...
分类：
Web程序 时间：
2016-08-30 01:45:16
阅读次数：
258
