flume-netcat-logger.conf 文件编写: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.s ...
分类：
Web程序 时间：
2021-03-06 14:54:47
阅读次数：
0
简介： 快手基于 Flink 的持续优化与实践的介绍。 一、Flink 稳定性持续优化 第一部分是 Flink 稳定性的持续优化。该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是基于内部的双机房读或双机房写和一些容错的策略。第二部分关 ...
分类：
其他好文 时间：
2021-03-05 12:54:40
阅读次数：
0
近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类：
其他好文 时间：
2021-03-04 13:29:01
阅读次数：
0
环境： vmware centos7 1、下载适合自己的es版本 https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-10-1 2、由于我下载的是二进制包，因为从es7开始自带了jdk，所以不需要单独去安装jdk了，直接 ...
分类：
其他好文 时间：
2021-03-04 13:21:00
阅读次数：
0
大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超 ...
分类：
其他好文 时间：
2021-03-03 12:14:24
阅读次数：
0
目录 一、Kafka监控的几个指标 二、查看zookeeper配置 三、查看kafka配置 四、查看kafka的group name 五、查看kafka的topic_name 六、修改zabbix配置文件 七、创建监控脚本 八、给脚本和对应文件权限 九、重启zabbix 十、监控上增加3个键值 正文 ...
分类：
其他好文 时间：
2021-03-03 12:11:41
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
--作者：飞翔的小胖猪 --创建时间：2021年2月27日 前言 journalctl是systemd统一管理所有unit(服务)的启动日志。可以通过journalctl一个命令查看所有日志。 所有用户都被授予访问其私人的每个用户日志的权限。但是，在默认情况下，只有root用户和属于少数特殊组的用户 ...
分类：
其他好文 时间：
2021-03-01 13:58:44
阅读次数：
0
1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一个消息中间件系统，该系统应该是异步和低耦合的，即来自各种存储系统（如HDFS、Cassandra、RDBMS等）的数据可 ...
分类：
其他好文 时间：
2021-03-01 13:50:00
阅读次数：
0
日志进程rsyslog httpd/nginx/mysql: 各类应用程序，可以以自己的方式记录日志 Rsyslog 是处理系统相关日志的进程 处理日志的进程 rsyslog rsyslog可以处理绝大部分日志记录，比如系统操作有关信息，如登录信息，程序的启动关闭信息 [root@CatdeXin- ...
分类：
其他好文 时间：
2021-02-27 13:03:19
阅读次数：
0
