最近学习了下flume的使用，以配合公司将日志系统独立出来的开发，官网用户手册：http://flume.apache.org/FlumeUserGuide.html#log4j-appender
1. flume架构
a. 组件
先搬上官网上的架构图
从图上可以看到flume的事件定义成了一个数据流，一个数据流组成了Agent，其实就是JVM实例，每个Agent包...
分类：
Web程序 时间：
2015-02-09 10:57:53
阅读次数：
312
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务
bin/kafka-server-start.sh config/server.properties &
2、报如下错误
props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");
props.put("serializer.cl...
分类：
其他好文 时间：
2015-02-07 18:56:33
阅读次数：
174
没有运行，直接看源码得到sink简单运行过程SinkRunner负责运行sink程序内部类PollingRunnerimplements Runnable{ private SinkProcessor policy;}负责运行sinkrun方法while (!shouldStop.get()) {....
分类：
Web程序 时间：
2015-02-05 21:47:15
阅读次数：
211
kafka是用scala编写，用zookeeper做协调。scala的代码没学习过，这边主要看别人写的文档和自己的工作实践来的。笔记可能会写多篇，因为这东西要经常看啊，不看过了多久就忘了。
东西看完了就要问问自己3W1H
What：kafka是一个分布式（多broker，zookeeper）的，分区的（partition），消息复制的（replicate）的消息中间件（log service）...
分类：
其他好文 时间：
2015-02-05 18:32:14
阅读次数：
211
我们直接看该Source的start方法吧
public void start() {
logger.info("Exec source starting with command:{}", command);
executor = Executors.newSingleThreadExecutor();
runner = new ExecRunnable(shell...
分类：
Web程序 时间：
2015-02-05 11:24:26
阅读次数：
282
KAFKA学习总结 一、?简介 KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统; KAFKA用途广泛,可以用作消息队列,也可以用作日志系统,还有其他一些应用,在此不作详细介绍; 二、?组成 按照不同...
分类：
其他好文 时间：
2015-02-03 11:24:22
阅读次数：
257
1. Hadoop 支持lzo压缩依赖： lzo：Unix/linux系统默认没有lzo的 库，因此需要安装，sudoyum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64...
分类：
Web程序 时间：
2015-02-02 19:47:04
阅读次数：
416
场景：使用Spark Streaming接收Kafka发送过来的数据与关系型数据库中的表进行相关的查询操作；Kafka发送过来的数据格式为：id、name、cityId，分隔符为tab1 zhangsan 12 lisi 13 wangwu ...
分类：
数据库 时间：
2015-02-02 10:48:27
阅读次数：
169
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议： 最好的方法是不...
分类：
其他好文 时间：
2015-02-01 00:38:26
阅读次数：
17815
概览
flume-ng中最重要的核心三大组件就是source,channel,sink
source负责从源端收集数据
channel负责暂存收集来的数据，以备下游取走消费
sink负责消费通道中的数据，写到最终的输出端上
以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：
1、Source
source接口的定义如下：
@Inte...
分类：
Web程序 时间：
2015-01-30 17:45:41
阅读次数：
1035
