原文:http://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=205526269&idx=1&sn=6300502dad3e41a36f9bde8e0ba2284d&key=c468684b929d2be22eb8e183b6f92c75565b81...
分类：
数据库 时间：
2015-05-28 21:11:11
阅读次数：
769
nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linu...
分类：
Web程序 时间：
2015-05-25 18:38:14
阅读次数：
650
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2015-05-25 16:33:38
阅读次数：
173
在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程中遇到的问题，对Flume的功能改进和对系统做的优化。1 Flume的问题总结在Flume的使用过程中，遇到的主要问题如下...
分类：
Web程序 时间：
2015-05-25 16:29:31
阅读次数：
172
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? flume 作为 cloudera 开发...
分类：
Web程序 时间：
2015-05-25 16:15:53
阅读次数：
258
参考链接hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)http://www.aboutyun.com/thread-8178-1-1.htmlWin7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结http://ww...
分类：
其他好文 时间：
2015-05-25 12:56:34
阅读次数：
139
1、创建一个agent，sink类型需指定为自定义sink vi /usr/local/flume/conf/agent3.conf agent3.sources=as1 agent3.channels=c1 agent3.sinks=s1 agent3.sources.as1.type...
分类：
Web程序 时间：
2015-05-24 17:15:54
阅读次数：
342
近日，在测试Flume结合Kafka结合SparkStreaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume..
分类：
Web程序 时间：
2015-05-19 07:32:40
阅读次数：
1969
先贴上异常信息 1 08 May 2015 17:55:23,751 WARN [New I/O worker #1] (org.apache.flume.source.AvroSource.append:350) - Avro source r1: Unable to process eve...
分类：
Web程序 时间：
2015-05-15 17:09:08
阅读次数：
437
在这里看到的解决方法https://issues.apache.org/jira/browse/SPARK-1729请是个人理解，有问题请大家留言。其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧的办法。在flume中其...
分类：
Web程序 时间：
2015-05-13 16:04:15
阅读次数：
266
