1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
html <button class="btn btn-sm btn-primary pull-right" ng-click="exportData($event)"><i class="fa fa-spinner fa-pulse hidden"></i>导出表格</button> js //导 ...
分类：
Web程序 时间：
2020-07-30 22:03:35
阅读次数：
93
1）案例需求 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Mu ...
分类：
Web程序 时间：
2020-07-26 23:24:13
阅读次数：
106
1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 ...
分类：
Web程序 时间：
2020-07-26 02:04:24
阅读次数：
109
1 Flume 安装地址 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ ...
分类：
Web程序 时间：
2020-07-26 02:04:05
阅读次数：
121
引言 HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generati ...
分类：
Web程序 时间：
2020-07-24 21:34:26
阅读次数：
94
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
1，证书购买#step1:选择SSL证书购买证书#step2:选择需要购买证书类型权威性：DV<OV<EV#step3:申请证书到证书控制台下申请证书验证成功后在域名解析这会自动生成一条txt解析记录下载相对应的证书服务器上下载lrzsz软件（代替ftp工具）yum-yinstalllrszrz（上传证书）下载nginxyuminstall-ynginx配置证书mkdir/etc/ng
分类：
其他好文 时间：
2020-07-21 22:10:42
阅读次数：
78
用途： package.json配置文件是配置和描述如何与程序交互和运行的中心文件。 npm 用它来识别项目，并了解如何处理项目的依赖关系。 npm可通过此配置文件启动项目、运行脚本、安装依赖包、发布npm公用包…… npm也是管理此配置文件的最佳方法，因为它有助于在项目的整个生命周期内生成和更新此 ...
分类：
Web程序 时间：
2020-07-21 13:39:29
阅读次数：
91
