Flume使用方式要点1.*.conf文件agent1.sources=source1agent1.sinks=mysqlSinkagent1.channels=channel1#Describe/configuresource1agent1.sources.source1.type=execagent1.sources.source1.command=ftail.sh/data/phicomm-oa/tomcat-9999/logs/phicomm-oa.logagent1.sources...
分类：
Web程序 时间：
2016-02-25 17:10:30
阅读次数：
267
flume：从数据源拉取数据 kafka：主要起到缓冲从flume拉取多了的数据 sparkStream：对数据进行处理 一.flume拉取数据 1.源数据文件读取配置 在flume目录的conf目录下配置读取数据源的配置，配置一个test.properties文件，内容如下: a1.sources
分类：
Web程序 时间：
2016-02-22 13:40:06
阅读次数：
404
原理分析 当调用一个虚函数时, 编译器生成的代码会调用 虚表地址[0](param1, param2)这样的函数. 已经不是在调用函数名了. 当我们将虚表地址[n]中的函数实现改为另外的函数, 虚函数的实现就由我们来控制了. 实验 根据虚表原理, 实验一下修改自己程序的虚函数表项地址. 使编译器生成
分类：
其他好文 时间：
2016-02-12 22:11:18
阅读次数：
207
最近我在日志收集的功能中加入了对docker容器日志的支持。这篇文章简单谈谈策略选择和处理方式。...
分类：
Web程序 时间：
2016-02-07 13:40:58
阅读次数：
320
#!/bin/bash # author： xirong # date : 2015-02-06 ##### 搭建 flume 集群的脚本 # 注意： # 1. 需要 jdk7 环境，如果没有 Java 环境，请配置 # 2. 有 /home/work 目录，否则无法安装 # #### # 压缩文件
分类：
Web程序 时间：
2016-02-04 00:20:02
阅读次数：
182
了解过flume的人，差不多都看过这张或则类似的图片，本文即实现上图部分内容。（由于条件有限，目前是单机上实现） flume-agent配置文件 #flume agent conf source_agent.sources = server source_agent.sinks = avroSink
分类：
Web程序 时间：
2016-02-03 18:14:45
阅读次数：
742
1.1 LVS实现分析 1.1.1 LVS流程概述 Netfiler的报文流程概述 数据报从左边进入系统，进行IP校验以后，数据报经过第一个钩子函数NF_IP_PRE_ROUTING进行处理；然后进行路由选择，决定该数据报是需要转发还是发给本机； 若该数据报是发被本机的，则该数据经过钩子函数 NF_
分类：
其他好文 时间：
2016-02-01 17:42:27
阅读次数：
283
Flume传输数据事务分析 本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume传输数据的事务进行分析。假设使用的是其它组件。Flume事务详细的处理方式将会不同。普通情况下。用MemoryChannel就好了，我们公司用的就是这个。FileChann
分类：
Web程序 时间：
2016-01-30 09:38:24
阅读次数：
565
一、概述： 在实际的生产环境中，一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件： #agent1 name agent1.sources=source1 agent1.sinks=sink1 ag...
分类：
Web程序 时间：
2016-01-24 12:52:17
阅读次数：
161
一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44...
分类：
Web程序 时间：
2016-01-23 00:50:33
阅读次数：
1147
