1、目标场景 2、flume agent配置文件 3、验证timestamp+host interceptor 验证思路： 1）先将interceptor作用后的event，通过logger sink打印到console，验证header是否正常添加2）修改sink为hdfs, 观察目录和文件的名称 ...
分类：
Web程序 时间：
2017-12-03 13:56:54
阅读次数：
302
1、负载均衡场景 1）初始：上游Agent通过round_robin selector, 将event轮流发送给下游Collecotor1, Collector2 2）故障： 关闭Collector1进程来模拟故障，Agent1由于配置了backoff, 会将Collecotor1暂时从发送列表中移 ...
分类：
Web程序 时间：
2017-12-02 19:09:11
阅读次数：
225
1、实践场景 模拟上游Flume Agent在发送event时的故障切换 （failover） 1）初始：上游Agent向active的下游节点Collector1传递event 2）Collector1故障： kill该进程的方式来模拟， event此时发送给Collector2，完成故障切换 3 ...
分类：
Web程序 时间：
2017-12-02 11:11:03
阅读次数：
152
前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概 ...
分类：
Web程序 时间：
2017-12-01 17:42:24
阅读次数：
292
1、 安装flumeflume安装，解压后修改flume_env.sh配置文件，指定java_home即可。cp hdfs jar包到flume lib目录下（否则无法抽取数据到hdfs上）：$ cp /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/share/hadoop... ...
分类：
Web程序 时间：
2017-11-26 11:09:58
阅读次数：
253
复制粘贴命令步骤：1.???????把zabbix_agents_2.4.4.win.rar解压，把zabbix_agents_2.4.4.win拷到C:\Program Files? 2.???????修改配置文件C:\Program Files\
摘自：https://flume.apache.org/FlumeUserGuide.html 是什么： Flume是一个用来收集聚合海量多来源日志数据并转移到一个数据存储中心的分布式，可依赖，高可用，高性能服务框架。他基于流数据提供简单灵活的架构。具有健壮性，容错性。他提供了一个简单可扩展的数据模 ...
分类：
Web程序 时间：
2017-11-22 17:47:36
阅读次数：
224
flume 整合 kafka： flume 采集业务日志，发送到kafka 安装部署Kafka Download 1.0.0 is the latest release. The current stable version is 1.0.0. You can verify your downloa ...
分类：
Web程序 时间：
2017-11-22 17:42:32
阅读次数：
302
Flume单机版环境搭建 搭建步骤： 1.环境准备：在win7系统 内存（8G）的硬件环境下，搭建1台centOS虚拟机 1.1给机器配置主机名（ip需要固定） 1.2 Xshell远程命令连接上该虚拟机 1.3 为该台虚拟机配置用户/密码登录 2.配置jdk 2.1指定目录下解压jdk压缩包 # ...
分类：
Web程序 时间：
2017-11-16 23:59:36
阅读次数：
527
Windows下zabbix客户端的安装 记得关windows上的防火墙 1、首先需要下载zabbix_agents.rar文件 点击这里进行下载 当然也可以在www.zabbix.com进行下载 2、将zabbix_agents.rar解压到C:\下 3、根据你当前windows的版本选择64位还 ...
分类：
其他好文 时间：
2017-11-16 19:43:56
阅读次数：
163
