最近我在日志收集的功能中加入了对docker容器日志的支持。这篇文章简单谈谈策略选择和处理方式。...
分类：
Web程序 时间：
2016-02-07 13:40:58
阅读次数：
320
#!/bin/bash # author： xirong # date : 2015-02-06 ##### 搭建 flume 集群的脚本 # 注意： # 1. 需要 jdk7 环境，如果没有 Java 环境，请配置 # 2. 有 /home/work 目录，否则无法安装 # #### # 压缩文件
分类：
Web程序 时间：
2016-02-04 00:20:02
阅读次数：
182
了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。（由于条件有限，目前是单机上实现） flume-agent配置文件 #flume agent conf source_agent.sources = server source_agent.sinks = avroSink
分类：
Web程序 时间：
2016-02-03 18:14:45
阅读次数：
742
Flume传输数据事务分析 本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume传输数据的事务进行分析。假设使用的是其它组件。Flume事务详细的处理方式将会不同。普通情况下。用MemoryChannel就好了，我们公司用的就是这个。FileChann
分类：
Web程序 时间：
2016-01-30 09:38:24
阅读次数：
565
一、概述： 在实际的生产环境中，一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件： #agent1 name agent1.sources=source1 agent1.sinks=sink1 ag...
分类：
Web程序 时间：
2016-01-24 12:52:17
阅读次数：
161
一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44...
分类：
Web程序 时间：
2016-01-23 00:50:33
阅读次数：
1147
上一节搭建了flume的简单运行环境，并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图： 下面这个图基本说明了flume的作用，以及flume中的基本组件：source、channel、sink。 Source:完成对日志数据的收集，...
分类：
Web程序 时间：
2016-01-22 21:07:56
阅读次数：
196
java.lang.NoClassDefFoundError:org/apache/spark/streaming/flume/sink/SparkFlumeProtocol$Callback atorg.apache.spark.streaming.flume.FlumePollingReceiver$$anonfun$onStart$1.apply(FlumePollingInputDStream.scala:84) atorg.apache.spark.streaming.flume.FlumePoll..
分类：
Web程序 时间：
2016-01-22 03:24:39
阅读次数：
1344
配置demoagent.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Desc...
分类：
Web程序 时间：
2016-01-22 00:01:25
阅读次数：
368
一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请...
分类：
Web程序 时间：
2016-01-20 20:49:39
阅读次数：
345
