由于上了Elastic Stack 的快车,很多日志和监控数据等都往ELK 丢了; 不知道你是不是存在同样的问题,辛辛苦苦kibana 写条件查询数据出来,发现kibana无法导出数据报表的问题; 在此,借助网上找的python demo,给大伙解释下Python 导数 Elasticsearch ...
分类:
编程语言 时间:
2019-11-23 09:29:35
阅读次数:
81
恢复内容开始 一、日志收集系统设计 1.项目背景 a. 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 b. 当系统机器比较少时,登陆到服务器上查看即可满足 c. 当系统机器规模巨大,登陆到机器上查看几乎不现实 2.解决方案 a. 把机器上的日志实时收集,统一的存储到中心系统 b. 然后再 ...
分类:
编程语言 时间:
2019-11-22 12:11:42
阅读次数:
67
ELK日志分析及操作步骤: 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景 中,此方法效率低下,面临问题包括日志量太大如何归档、文本 搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所 有服务器上的日志收集汇总。常见解决思路是建立 ...
分类:
其他好文 时间:
2019-11-22 10:34:33
阅读次数:
93
XSS***XSS***的全称是跨站脚本***(CrossSiteScripting),是WEB应用程序中最常见到的***手段之一。跨站脚本***指的是***者在网页中嵌入恶意脚本程序,当用户打开该网页时,脚本程序便开始在客户端的浏览器上执行,以盗取客户端cookie、盗取用户名密码、下载执行病毒***程序等等。为了不和层叠样式表(CascadingStyleSheets,CSS)的缩写混淆,故将跨站脚本***缩
分类:
编程语言 时间:
2019-11-18 09:54:56
阅读次数:
98
一. ELK是什么?ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES,它是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。 ...
分类:
其他好文 时间:
2019-11-15 09:19:31
阅读次数:
92
[TOC] EFK日志系统 一,EFK日志系统简介: 关于系统日志收集处理方案,其实有很多种,因为之前使用ES比较多,所以也认为ELK是一个不错的解决方案,ELK(Elasticsearch + Logstash + Kibana)来管理日志。 Kubernetes 也要实现在整个集群级别收集和聚合 ...
分类:
其他好文 时间:
2019-11-12 14:47:14
阅读次数:
127
ELK对nginx日志进行流量监控 一、前言 线上有一套ELK单机版,版本为5.2.1。现在想把nginx访问日志接入到elk里,进行各个域名使用流量带宽的统计分析。要把nginx日志传输到elk上,可以在存有nginx日志的服务器上使用logstash或者filebeat。但是因为logstash ...
分类:
其他好文 时间:
2019-11-12 09:24:53
阅读次数:
137
[TOC] MySQL explain用法 一、explain命令应用 查询数据的方式 1.全表扫描 1)在explain语句结果中type为ALL 2)什么时候出现全表扫描? 2.1 业务确实要获取所有数据 2.2 不走索引导致的全表扫描 ? 2.2.1 没索引 ? 2.2.2 索引创建有问题 ? ...
分类:
数据库 时间:
2019-11-11 00:15:48
阅读次数:
115
操作系统 IP地址 主机名 软件包 角色备注 CentSO7.5x86_64 192.168.200.113 elk-node1 内存:2G CentSO7.5x86_64 192.168.200.114 elk-node2 内存:2G CentSO7.5x86_64 192.168.200.115 ...
分类:
其他好文 时间:
2019-11-09 19:29:20
阅读次数:
98
1.准备 JDK:1.8版本及以上; Kibana:6.2.4版本; 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz mkdir /opt/elk/ki ...
分类:
其他好文 时间:
2019-11-09 18:00:48
阅读次数:
120