1）案例需求 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Mu ...
分类：
Web程序 时间：
2020-07-26 23:24:13
阅读次数：
106
说起ELK相信大家都不陌生，他可不是一个软件，是三个软件 logstash，elasticsearch，Kibana 组成的可以打造大规模日志实时处理的系统。 Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查 ...
分类：
其他好文 时间：
2020-07-26 15:54:23
阅读次数：
71
下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch ELK的主版本号需要统一：ElasticSearch-5.5 + Logstash-5.5 + Kibana-5.5 安装ElasticSearch 在安装 El ...
分类：
其他好文 时间：
2020-07-26 15:38:49
阅读次数：
69
1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 ...
分类：
Web程序 时间：
2020-07-26 02:04:24
阅读次数：
109
1 Flume 安装地址 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ ...
分类：
Web程序 时间：
2020-07-26 02:04:05
阅读次数：
121
Kafka 0.10.1版本源码 Idea编译 1.环境准备 Jdk 1.8 Scala 2.11.12：下载scala-2.11.12.msi并配置环境变量 Gradle 5.6.4： 下载Gradle-5.6.4并配置环境变量 2.配置文件修改 -gradle.properties文件中 sca ...
分类：
其他好文 时间：
2020-07-26 00:28:42
阅读次数：
75
月初的时候，Flink 终于发布 1.11.0 版本， CDC 的功能还是比较期待的（虽然比预期差很多） 当然是升级一波了 最新的代码已经上传到 GitHub ： https://github.com/springMoon/sqlSubmit 跑 sqlSubmit 的代码，随便来个 kafka t ...
分类：
数据库 时间：
2020-07-26 00:01:52
阅读次数：
179
kafka配置双监听 由于公司需要在其他城市开通业务所以另外开了一个数据库但是kafka消费想直接使用旧的项目，以免多部署一个项目占用服务器内存空间。 首先先在配置文件中配置2个kafka的ip端口等信息 spring.kafka.xx.bootstrap-servers=xxx.xxx.x.x:x ...
分类：
其他好文 时间：
2020-07-24 10:03:45
阅读次数：
71
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统，主要应用于大数据实时处理领域，其官网是：http://kafka.apache.org/。Kafka 是一个分布式、支持分区的（Partition）、多副本的（Replica），基于 ZooKeeper 协调的发布 ...
分类：
编程语言 时间：
2020-07-22 15:56:17
阅读次数：
64
