org.apache.flume.sink.AvroSink是用来通过网络来数据传输的。能够将event发送到RPCserver（比方AvroSource），使用AvroSink和AvroSource能够组成分层结构。它继承自AbstractRpcSink extends AbstractSin.....
分类：
编程语言 时间：
2015-08-10 21:56:32
阅读次数：
207
apache-flume1.6 sink默认支持kafka [FLUME-2242] - Flume Sink and Source for Apache Kafka 官方给的例子很贴心，可以直接运行=，=，详细配置之后慢慢看。 a1.channels = channel1 a1.sources = src-1 a1.sinks...
分类：
Web程序 时间：
2015-08-10 18:18:21
阅读次数：
831
笔者博文：妳那伊抹微笑博客地址：http://blog.csdn.net/u012185296个性签名：世界上最遥远的距离不是天涯，也不是海角，而是我站在妳的面前。妳却感觉不到我的存在技术方向：Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar...
分类：
编程语言 时间：
2015-08-09 09:26:51
阅读次数：
161
这篇是计算机类的优质预售推荐>>>>《Flume：构建高可用、可扩展的海量日志采集系统》
编辑推荐
开发人员。
内容简介
本书从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置
组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，不仅仅阐述每个组件的基本概念，而且结合实际的编程案例...
分类：
Web程序 时间：
2015-08-04 19:28:18
阅读次数：
236
背景
Flume是Apache赞助的一个分布式日志管理系统，主要功能就是把集群中每个worker产生的日志log，collect到特定的地点。
为什么要写这篇文章呢，因为现在搜索出来的文献大多是老版本的flume，在flume1.X版本后，也就是flume-ng版本跟之前出现了很大的改动，市面上的很多文档都已经过时了，大家看的时候一定要注意这点，稍后我会提供几个比较新的，有参考价值的文章。...
分类：
Web程序 时间：
2015-08-04 09:30:46
阅读次数：
187
一、概述 接实例一，实例一中server-aget是把日志上传保存到服务器上面，随着日志越来越大，公司启动了hadoop项目，需要把日志直接上传hdfs中保存,配置文件target_hdfs.conf如下： a2.sources = r2 a2.channels = c2 a2.sinks = k2...
分类：
Web程序 时间：
2015-07-31 19:52:24
阅读次数：
195
一、flume-ng简介 请参考官方文档：http://flume.apache.org/FlumeUserGuide.html 二、实例 需求说明：需要监控一个目录，并自动上传到服务器，且需要在传输过程中进行加密。 整体方案：n个client-agent -->server-agent clien...
分类：
Web程序 时间：
2015-07-31 18:16:37
阅读次数：
178
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。flume传输的数据的基本单位是event，如果是文本文件，通常是一行记...
分类：
Web程序 时间：
2015-07-30 23:16:06
阅读次数：
377
