Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出编写KafkaSink从$KAFKA...
分类：
Web程序 时间：
2015-11-27 17:43:28
阅读次数：
290
官方文档参数解释：http://flume.apache.org/FlumeUserGuide.html#hdfs-sink需要注意：文件格式，fileType=DataStream 默认为SequenceFile，是hadoop的文件格式，改为DataStream就可直接读了（SqeuenceFi...
分类：
Web程序 时间：
2015-11-23 21:54:39
阅读次数：
225
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:15:33
阅读次数：
167
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:14:39
阅读次数：
137
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:13:05
阅读次数：
135
1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2、一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink SourceFl...
分类：
Web程序 时间：
2015-11-09 20:53:59
阅读次数：
278
java中把不同的输入/输出源(键盘、文件、网络连接等)抽象表现为Stream(流).java程序可以通过使用不同的流来访问不同的输入/输出源.而Stream（流）可以直观的理解为从数据的源(Source)到数据的接收(Sink)之间的这样一段有序数据.ps. 注意此处是Stream（流） 并不.....
分类：
其他好文 时间：
2015-11-08 23:53:38
阅读次数：
333
ZeroMq实现跨线程通信之前在技术崇拜的技术经理指导下阅读了ZeroMq的基础代码，现在就将阅读的心得与成果记录一下，并重新模仿实现了一下经理的异步队列。1、对外接口//主要接口（1）void *ymq_attach (void *ctx_, int oid, void* sink_);（2）v....
分类：
编程语言 时间：
2015-11-05 00:27:51
阅读次数：
303
架构图数据流向图1.Flume 的一些核心概念：2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图： Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带....
分类：
数据库 时间：
2015-11-01 22:42:13
阅读次数：
505
package org.apache.flume.sink;import com.google.common.base.Strings;import org.apache.flume.Channel;import org.apache.flume.Context;import org.apache....
分类：
Web程序 时间：
2015-10-24 17:28:42
阅读次数：
309
