一、使用Logstash使用jdbc从MySQL读取数据操作 1.1 安装jdbc插件 jdbc默认已安装，如果没安装使用logstash-plugin安装即可（logstash-plugin在logstash的bin目录下）： 1.2 下载mysql jdbc驱动 mysql最新版是8.0，但使用 ...
分类：
数据库 时间：
2018-10-26 17:42:46
阅读次数：
455
logstash解析json数组是一种常见的需求，我以网上一组数据为例来描述 我们的数据test.json内容如下：(此处我linux上的json文本需要是compact的) 为了方便看清楚内容，我们format后查看： 我们可以看到 bean 字段下是一个json数组，解析这种json数组，我们需 ...
分类：
Web程序 时间：
2018-10-22 17:59:15
阅读次数：
862
在某些情况下，有些日志文本文件类json，但它的是单引号，具体格式如下，我们需要根据下列日志数据，获取正确的字段和字段类型 此时我们如果当json直接用 "logstash Json filter plugin" 来解析会如下报错 此处我认为简单的做法是替换单引号为双引号，替换过程应用了 "logs ...
分类：
Web程序 时间：
2018-10-22 17:56:06
阅读次数：
951
一、场景：此文以一个简单的json字符串文件为例，描述如何用logstash解析嵌套的json，并删除其中的某些字段 我们在linux中test.json的内容如下： 为了方便查看，formate后，为如下格式 二、目的： 我们需要解析这个json，并且删除json中 "src_ip" 字段和 "h ...
分类：
Web程序 时间：
2018-10-22 17:55:47
阅读次数：
2008
作为一个开发，总要时不时的帮运维排查问题、给运营导数据，而且也会担心自己开发的系统是否足够健壮，机器的性能是否都得到了发挥，哪些业务将会是瓶颈。总是需要分心去处理这些东西，怎么能写好代码，或许到了开发一套监控系统的时候了。 elk(Elasticsearch+Logstash+Kibana)是一套不 ...
分类：
其他好文 时间：
2018-10-19 14:15:07
阅读次数：
149
在使用SpringMVC时，同样有前端向后端发送请求，请求参数中有中文，需要解决中文乱码问题，在Spring中也是向java web中一样，通过一个过滤器来解决中文乱码。 这个过滤器在spring-web,jar包中，类名称:org.springframework.web.filter.Charac ...
分类：
编程语言 时间：
2018-10-14 14:06:47
阅读次数：
179
ELK环境搭建完整说明 ELK：ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索。简单地理解为我们可以把服务端的日志（nginx、tomcat等）直接web化展示查看，十分方便。 本机环境说明： 系统：centos7.5 ElasticSera ...
分类：
其他好文 时间：
2018-10-10 21:59:47
阅读次数：
194
package servlet; import javax.servlet.*; import javax.servlet.annotation.WebFilter; import javax.servlet.http.HttpServletRequest; import javax.servlet... ...
分类：
编程语言 时间：
2018-10-10 21:49:42
阅读次数：
160
1，拉取docker registry 镜像 2，创建证书存放目录 3，生成CA证书Edit your /etc/ssl/openssl.cnf on the logstash host - add subjectAltName = IP:10.1.10.1 in [v3_ca] section.一 ...
分类：
其他好文 时间：
2018-10-10 19:23:53
阅读次数：
451
在工作中需要在elk中展示mysql的慢语句，以便于DBA每天查看并对比进行优化；mysql5.5，mysql5.6，mysql5.7的慢日志格式都不相同，根据自已的需要进行收集；mysql5.5日志样例：#Time:18091110:50:31#User@Host:osdb[osdb]@[172.25.14.78]#Query_time:12.597483Lock_time:0.000137Ro
分类：
数据库 时间：
2018-10-10 17:54:27
阅读次数：
316
