在完成单点的Flume NG搭建后,下面我们搭建一个高可用的Flume NG集群,架构图如下所示: (1)节点分配 Flume的Agent和Collector分布如下表所示: 名称 Ip地址 Host 角色 Agent1 192.168.200.101 Itcast01 WebServer Coll ...
分类:
其他好文 时间:
2019-01-23 00:25:43
阅读次数:
234
一:介绍 (1)日志采集系统 (2)是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。 (3)具有基于流数据流的简单灵活的架构。 (4)具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力。 二:flume的三个组件:【Source,Channel,Sink】构成A ...
分类:
Web程序 时间:
2018-12-31 13:51:24
阅读次数:
211
Flume安装成功,环境变量配置成功后,开始进行agent配置文件设置。 1.agent配置文件(mysql+flume+Kafka) #利用Flume将MySQL表数据准实时抽取到Kafka a1.channels = c1 a1.sinks = k1 a1.sources = s1 #sourc ...
分类:
数据库 时间:
2018-12-13 19:14:48
阅读次数:
222
因项目需要,这一周弄了一下live555。需求:海思编码——>RTSP server,使用VLC可以访问,类似于网络摄像机的需求。看了一下,live555的架构太复杂了,半桶水的C++水平还真的需要花点时间才可以明白。由于live555的例子server使用的是读取文件,打包成RTSP包然后发送。例 ...
分类:
其他好文 时间:
2018-12-04 17:05:52
阅读次数:
568
最近在项目中需要实现图的一些操作,因此,初步考虑使用Akka Stream的Graph实现。从而学习了下: 一、介绍 我们知道在Akka Stream中有三种简单的线性数据流操作:Source/Flow/Sink。但是当我们需要使用一些复杂的操作,例如扇入和扇出时,可能就需要使用图相关的流操作了。因 ...
分类:
其他好文 时间:
2018-11-25 17:55:43
阅读次数:
255
需求:从指定网络端口采集数据输出到控制台 使用flume的关键就是写配置文件 a)配置source b)配置channel c)配置sink d)把以上三个组件串起来 我们看一下官网给的配置文件 ...
分类:
Web程序 时间:
2018-11-08 18:19:03
阅读次数:
194
boost::log包含两个大部分:logger和sink logging::core是全局的一个单例 1,sink 在boost::log中有一个默认的sink与控制台流相关关联; 如果想把日志输出到指定的文件流中可以使用如下代码: auto sink=add_log_file("xxx.log" ...
分类:
其他好文 时间:
2018-10-31 18:28:30
阅读次数:
197
Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器: Timestam ...
分类:
Web程序 时间:
2018-10-29 21:30:13
阅读次数:
146
1、概述 Flume:收集、聚集,移动大量日志数据到指定位置 2、核心组件 基本单位:agent source:收集 channel:聚集 sink:发送 3、一般写Flume配置文件能解决大部分问题 ...
分类:
Web程序 时间:
2018-10-27 18:43:14
阅读次数:
182
名词解释: 1、netcat:通过网络端口获取数据,source的实现类 2、logger:将数据显示到控制台,sink的实现类 3、memory: ,channel的实现类 4、capacity:是指channel的最大容量 5、spooldir:本地文件目录(文件夹)用来读取数据(文件) 6、f ...
分类:
Web程序 时间:
2018-10-27 00:20:10
阅读次数:
209