org.apache.flume.sink.AvroSink是用来通过网络来传输数据的，可以将event发送到RPC服务器（比如AvroSource），使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink
extends AbstractSinkim.....
分类：
其他好文 时间：
2014-06-29 14:29:54
阅读次数：
392
kill -15 pid 即： kill SIGNTERM pid不要使用kill -9。kill
-15会触发调用shutdownHook的run方法，从而可以执行关闭服务器的时候一些必要代码。kill -9不会触发shutdownHookkill -0
pid （kill SIGINT pid）...
分类：
其他好文 时间：
2014-06-11 13:12:36
阅读次数：
690
flume-ng
是一个分布式，高可用的日志收集系统。主要用来将分布在不同服务器上的业务日志汇总在一个集中的数据存储中心一
安装与环境配置下载地址http://flume.apache.org/download.html，下载Apache Flume
binary至目标服务器解压运行环境java版本...
分类：
其他好文 时间：
2014-06-10 21:03:30
阅读次数：
451
按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。...
分类：
其他好文 时间：
2014-06-10 18:01:51
阅读次数：
1183
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
其他好文 时间：
2014-06-05 14:25:48
阅读次数：
300
apache kafka监控系列-KafkaOffsetMonitor
如何给kafka做监控...
分类：
其他好文 时间：
2014-06-05 05:20:36
阅读次数：
264
编辑/etc/rsyslog.d/50-default.conf其中有这么一段*.=info;*.=notice;*.=warn;\
auth,authpriv.none;\ cron,daemon.none;\ mail,news.none -/var/log/messages保存后重...
分类：
其他好文 时间：
2014-06-03 14:33:38
阅读次数：
352
问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2...
分类：
其他好文 时间：
2014-06-02 15:38:43
阅读次数：
477
SinkRunner.java 开启线程调用相应的Processor(Policy) , 根据
Policy调用process的返回值来决定线程睡眠时间，每次默认延后1s，最大默认为5s。public class SinkRunner implements
LifecycleAware { pri....
分类：
其他好文 时间：
2014-05-28 02:14:36
阅读次数：
524
在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map
sourceRunnerMap之中。相关代码如下： 1 Map selectorConfig = context.getSu...
分类：
其他好文 时间：
2014-05-27 15:57:09
阅读次数：
347
