本篇文章主要是手把手教你搭建ELK实时日志分析平台,那么,ELK到底是什么呢?ELK是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如Elasticsearch等存储库中。Kibana则可以让用户在
分类:
其他好文 时间:
2020-08-28 11:57:17
阅读次数:
289
##1.主要思想 简单来说就是将大问题划分为小问题,并解决小问题重复计算的问题。 ##2.适用场景 常常适用于有重叠子问题和最优子结构性质的问题。 ##3.模板步骤 确定动态规划状态 写出状态转移方程(画出状态转移表) 考虑初始化的条件 考虑输出状态 考虑对时间和空间复杂度的优化(Bonus) ## ...
分类:
其他好文 时间:
2020-08-24 16:41:14
阅读次数:
55
一、Prometheus简介Prometheus是一套开源的系统监控报警框架。它以给定的时间间隔从已配置的目标收集指标,评估规则表达式,显示结果,并在发现某些情况为真时触发警报。作为新一代的监控框架,Prometheus具有以下特点:*多维数据模型:由度量名称和键值对标识的时间序列数据*PromSQL:一种灵活的查询语言,可以利用多维数据完成复杂的查询*不依赖分布式存储,单个服务器节点可直接工作*
分类:
其他好文 时间:
2020-08-08 10:37:13
阅读次数:
95
##【最佳实践示例】LogstashJDBC实现ElasticSearch与关系型数据库PostgreSQL近实时同步在数据全文检索需求越来越大的今天,很多公司都在关系数据库数据的基础上,加上了ElasticSearch,来进行数据快速全文检索,所以ElasticSearch与关系型数据库数据进行数据同步就变的尤为重要。本文主要介绍PostgreSQL数据库通过Logstash-JDBC插件与El
分类:
数据库 时间:
2020-08-08 00:39:39
阅读次数:
103
环境: 原elasticsearch版本:6.5.0 目的elasticsearch 版本:7.4.0 1.下载logstash 我这里下载的是6.8.5版本 https://artifacts.elastic.co/downloads/logstash/logstash-6.8.5.tar.gz ...
分类:
其他好文 时间:
2020-08-06 20:41:31
阅读次数:
69
本文介绍zabbix环境搭建与配置,达到服务监控与告警,并自动恢复 ...
分类:
其他好文 时间:
2020-08-05 16:54:07
阅读次数:
96
1、显示统计占用系统内存最多的进程,并排序。 有多种方法(我写了其中2种):1.top命令的内置命令M。 2.ps aux --sort=-%mem 2、编写脚本,使用for和while分别实现192.168.0.0/24网段内,地址是否能够ping通,若ping通则输出"success!",若pi ...
分类:
系统相关 时间:
2020-08-05 10:40:20
阅读次数:
105
显示统计占用系统内存最多的进程,并排序。[root@localhost~]#ps-eouid,pid,ppid,tty,time,cmd,%mem--sort=-%mem|headUIDPIDPPIDTTTIMECMD%MEM10730071?00:03:57/usr/libexec/qemu-kvm-name29.2031201?00:00:05/usr/bin/python2/usr/shar
分类:
其他好文 时间:
2020-08-03 09:44:52
阅读次数:
79
0、题记实际业务场景中,会遇到基础数据存在Mysql中,实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有:方案一:logstash_output_kafka插件。方案二:kafka_connector。方案三:debezium插件。方案四:flume。方案五:其他类似方案。其中:debezium和flume是基于mysqlbinlog实
分类:
数据库 时间:
2020-08-01 12:38:39
阅读次数:
93