我们使用的 mariadb, 用的这个审计工具 https://mariadb.com/kb/en/library/mariadb-audit-plugin/ 这个工具一点都不考虑后期对数据的处理, 因为他的日志是这样的 所以需要上 logstash 格式化一下 注意 !!! replace 那个地 ...
分类：
数据库 时间：
2018-07-27 13:12:19
阅读次数：
260
日志聚合与分析 日志聚合的作用就在于可以把来自不同服务器上不同应用程序产生的日志聚合起来，存放在单一的服务器上，方便进行搜索和分析。在日志聚合方面，已经有不少成熟的开源软件可以很好的满足需求。本文中要介绍的是 logstash，一个流行的事件和日志管理开源软件。logstash 采用了一种简单的处理 ...
分类：
其他好文 时间：
2018-07-26 19:53:11
阅读次数：
129
1、查看ES集群curl-uUSER:PASShttp://IP:9200/_cat/nodes?vcurl-uUSER:PASShttp://IP:9200/_cluster/health?pretty2、在ES中查看logstash个数ss-nt|grep`ifconfig|grep"inetadd"|grepBcast|awk‘{print$2}‘|awk-F":"‘{print$2}‘`:
分类：
其他好文 时间：
2018-07-26 15:02:25
阅读次数：
394
数据仓库作为企业提供决策支持而构建的集成化数据环境，本身并不产生或者消费数据，基本架构包含的是数据流入流出的过程，首先放上一张数据仓库的架构图。数据仓库作为中间集成化数据管理的一个平台，底层有多种数据来源，流入数据仓库之后对上层应用开放。 1、分析业务需求，确定数据仓库主题 数据模型的创建依赖数据仓 ...
分类：
其他好文 时间：
2018-07-25 15:15:40
阅读次数：
180
介绍ELK 它是一个解决方案，是Logstash、Elastaicsearch、Kibana的缩写，为什么使用：想想你是很多系统，出了问题还要登录到服务器查看日志、或者系统部署在客户的机器上，你甚至没有权限登录到别人服务器，作为开发人员又要修复bug！！再者，我们日志可以根据日志级别做分析，Kiba ...
分类：
Web程序 时间：
2018-07-24 10:15:37
阅读次数：
521
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash。 Elastic ...
分类：
其他好文 时间：
2018-07-20 11:29:54
阅读次数：
195
一、简介 pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行 ...
分类：
数据库 时间：
2018-07-18 23:21:46
阅读次数：
277
我是用ElasticSearch的版本是elasticsearch-6.3.1 mysql的数据是5.7的,其实这个关系不大。 logstash版本是6.3.1 ElasticSearch的插件elasticsearch-head-master ，现在加压好了，直接放在ElasticSearch目录 ...
分类：
数据库 时间：
2018-07-16 21:08:08
阅读次数：
1317
logstash收集syslog日志注意：生产用syslog收集日志！！！ 编写logstash配置文件 Kibana设置 看hand插件上我们能看到system-syslog索引 Kibana上添加system-syslog索引 完美 ...
分类：
其他好文 时间：
2018-07-16 11:18:55
阅读次数：
1003
