一、netcat source + memory channel + logger sink 1. 修改配置 1)修改$FLUME_HOME/conf下的flume-env.sh文件,修改内容如下 2)在$FLUME_HOME/conf目录下,创建agent子目录,新建netcat-memory-l ...
分类:
Web程序 时间:
2016-08-07 15:22:47
阅读次数:
231
一、Flume Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。 1. 架构方式 1)所有应用使用一台flume服务器; 2)所有应用共享flume集群; 3)每个应用使用一台flume,然后使用一个flume节点收集分散的flume数据; ...
分类:
Web程序 时间:
2016-08-06 11:22:04
阅读次数:
158
本文环境如下:
操作系统:CentOS 7.2.1511 64位
Flume版本:1.6.0
1. 当Flume与Hadoop不在同一服务器上当Flume与Hadoop不在同一服务器上时,又配置了写HDFS,则Flume启动时会报找不到类的错误。
需要添加Hadoop相关的包到flume的classpath配置中(或者直接拷贝到flume的lib文件夹中)。
具体需要的包,我是在ma...
分类:
Web程序 时间:
2016-08-04 21:42:59
阅读次数:
2910
flume负载均衡配置 集群DNS配置如下: hadoop-maser 192.168.177.162 machine-0192.168.177.158 machine-1191.168.177.167 配置主Flume,在hadoop-maser机上。配置文件为loadbalance.proper ...
分类:
Web程序 时间:
2016-08-03 18:11:04
阅读次数:
187
1、Nginx官网下载安装程序,http://nginx.org/ 2、启动命令 启动:start nginx.exe停止:nginx -s stop 重新加载: nginx -s reload 3、配置文件 路径 Nginx/conf/nginx.conf,配置文件内容,简单的实现一个负责均衡效果 ...
分类:
其他好文 时间:
2016-07-31 11:31:32
阅读次数:
220
今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一个简单的入门级架构,实际生产环境中的大数据实时分析技术还涉及到很多细节的处理, 比如使用Storm的ACK机制保证数据都能被正确处理, 集群的高可用架构,消费数据时如何处理重复数据或者丢失数据等问题,根据不同的业务场景,对数据的可靠性要求以及系统的复杂度的要求也会不同。这篇文章的目的只是带大家入个门,让大家对实时分析技术有一个简单的认识,并和大家一起做学习交流。...
分类:
Web程序 时间:
2016-07-24 07:03:36
阅读次数:
2399
Flume简介
Flume安装1. 解压 flume安装包到 /itcast/ 目录下
tar -zxvf /*flume安装包*/ /itcast/2. 修改 flume配置文件:2.1 flume-env.sh修改文件名称:
mv flume-env.sh.template flume-env.sh添加java_home,保证flume所使用的jdk和hdfs是一样的(可以...
分类:
Web程序 时间:
2016-07-22 19:14:48
阅读次数:
216
我们都希望,配置文件是从一个服务引出,然后客户端监听服务端变化,实时重启自身加载最新配置,这样,我们就不用维护每个独立的客户端配置,更新也变得非常简单,而flume,显然意识到了这一个巨大的实惠,他是支持配置文件交由zookeeper维护的,这样我们在修改配置时,flume会自动重新加载。1,zookeeper 添加节点 我们利用博客《使用zkweb维护zookeeper数据》中介绍...
分类:
Web程序 时间:
2016-07-22 19:10:55
阅读次数:
176
问题导读:
1.node向master发送心跳之后等待反馈的最大时长由哪个参数来决定,默认多长时间?
2.当primary sink(可以认为是第一collector)故障后,重启primary sink的一个延迟时间,在此期间,agent将把数据发送到secondary sink(可能是第二collector)由哪个参数来决定?
3.collector的默认发送目录通过哪个参数可以配置?
...
分类:
Web程序 时间:
2016-07-21 13:06:13
阅读次数:
538
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力
。
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为...
分类:
Web程序 时间:
2016-07-21 13:03:09
阅读次数:
436