概述 Apache Flume是一个分布式，可靠且可用的系统，用于高效地收集，汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮 ...
分类：
Web程序 时间：
2019-10-10 10:30:27
阅读次数：
114
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： ...
分类：
其他好文 时间：
2019-10-06 16:48:10
阅读次数：
114
Photo by Janke Laskowski on Unsplash 参考书籍：《Flume构建高可用、可扩展的海量日志采集系统》 ——Hari Shreedharan 著 以下简称“参考书籍”，文中部分资料和图片会标注引用自书中。官方文档简称“官文”。 文章为个人从零开始学习记录，如有错误，还 ...
分类：
Web程序 时间：
2019-10-03 22:02:35
阅读次数：
136
一.递归 什么是递归,我们通过名字先来分析一波,递类似于传递,我给你个东西你们一直向下传递,归就是将我给你们传递过去的东西,你们在传到我的手上.这是我们生活上递归 程序中的递归有点不太一样,程序中的递归就是不断调用自己本身 我们说到了调用,你们能想到什么??函数对吧,递归就是用函数实现的,我们来写一 ...
分类：
其他好文 时间：
2019-10-03 19:59:53
阅读次数：
60
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。 g ...
分类：
Web程序 时间：
2019-10-01 18:34:26
阅读次数：
146
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。 在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。 批量事件一旦成功写出到存储系统或 ...
分类：
Web程序 时间：
2019-10-01 09:59:54
阅读次数：
102
开源实现：https://github.com/keedio/flume-ng-sql-source 这里记录的是自己手动实现。 测试中要读取的表 记录表（必须），告诉 Flume 每次从哪开始读取 一、编写自定义 Source 1.添加 pom 依赖 2.编写类 MySQLSourceHelper ...
分类：
数据库 时间：
2019-09-29 19:58:38
阅读次数：
141
Source 是负责接收数据到 Flume Agent 的组件。 Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。 ...
分类：
Web程序 时间：
2019-09-28 23:44:45
阅读次数：
140
flume 三大组件 source 收集 channel 聚集 sink 输出 使用Flume关键就是写配置文件 A 配置source B 配置channel C 配置sink D 把以上3个组件串起来 1.通过IP端口 接收数据 启动agent flume-ng agent \ --name a1 ...
分类：
Web程序 时间：
2019-09-28 23:11:36
阅读次数：
122
这是我用js和css3，实现的vue transition组件相同的效果核心js 全部代码 ...
分类：
其他好文 时间：
2019-09-28 18:31:04
阅读次数：
77
