flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume? flume 作为 cloudera 开发的实时....
分类：
Web程序 时间：
2015-11-16 15:26:41
阅读次数：
207
kafka：(./kafka-server-start.sh ../config/server.properties &)flume：(bin/flume-ng agent -n agent -c conf -f conf/flume-node -Dflume.monitoring.type=htt...
分类：
其他好文 时间：
2015-11-16 10:46:09
阅读次数：
126
1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2、一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink SourceFl...
分类：
Web程序 时间：
2015-11-09 20:53:59
阅读次数：
278
采集层?主要可以使用Flume, Kafka两种技术。 Flume：Flume?是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka?是一个非常通用的系统...
分类：
Web程序 时间：
2015-11-05 16:57:29
阅读次数：
216
架构图数据流向图1.Flume 的一些核心概念：2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图： Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带....
分类：
数据库 时间：
2015-11-01 22:42:13
阅读次数：
505
转发自玖疯的博客 http://www.cnblogs.com/lxf20061900/p/3866252.html Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源.....
分类：
Web程序 时间：
2015-10-29 13:11:47
阅读次数：
328
AvroSource简介：监听Avro端口并从外部的Avro客户端接收事件流，多个flumeagent可以通过Avro形成一个组织。PropertyName Default Descriptionchannels – type – 需要配置为Avrobind – 需要监听的主机名或ip地址port – 监听的端口threads – 工作的最大线程数selector.type..
分类：
Web程序 时间：
2015-10-28 01:47:31
阅读次数：
239
作者：周邦涛(Timen)Email：zhoubangtao@gmail.com转载请注明出处: http://blog.csdn.net/zhoubangtao/article/details/28277575上一篇请參考【Flume NG用户指南】（1）设置3. 配置前边的文章已经介绍过了，Fl...
分类：
Web程序 时间：
2015-10-25 09:37:43
阅读次数：
299
package org.apache.flume.sink;import com.google.common.base.Strings;import org.apache.flume.Channel;import org.apache.flume.Context;import org.apache....
分类：
Web程序 时间：
2015-10-24 17:28:42
阅读次数：
309
