在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志，然后通过kibana以web的方式展示出来，但在生产环境中，需求会更复杂一些，而且通过logstash写正则，实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况；还有I/O吞吐..
分类：
其他好文 时间：
2015-12-14 19:16:44
阅读次数：
297
最近有项目反应，在服务器CPU使用较高的时候，我们的事件查询页面非常的慢，查询几条记录竟然要4分钟甚至更长，而且在翻第二页的时候也是要这么多的时间，这肯定是不能接受的，也是让现场用SQLServerProfiler把语句抓取了上来。用ROW_NUMBER()进行分页我们看看现场抓上来的分页语句：se...
分类：
数据库 时间：
2015-12-14 10:55:53
阅读次数：
265
在进行操作系统和数据库系统管理时经常会遇到在日志文件中查找某个字符或者按照时间截取某个时间段的日志进行分析。今天早上就遇到一个MySQL数据库上的问题mysql数据库在0-3点的时候数据库会话连接tpscpu和iowait等都比平时大了许多。为了定位这个时间段内到底发生了那些慢查询..
分类：
其他好文 时间：
2015-12-12 17:18:07
阅读次数：
227
//查看慢查询设置show variables like 'slow%';show variables like 'long%';//修改全局配置文件vi /etc/my.cnfslow_query_log_file=/mnt/data/mysql/slow_query.loglong_query_...
分类：
数据库 时间：
2015-12-10 19:06:49
阅读次数：
179
一，日志简介mysql日志主要分为四类，使用这些日志文件，可以查看mysql内部发生的事情。这四类日志分别为：错误日志 记录mysql服务的启动、运行或停止mysql的服务时出现的问题。查询日志 记录建立的客户端连接和执行语句。二进制日志 记录所有更改数据的语句，可以用于数据复制。慢查询日志 ...
分类：
数据库 时间：
2015-12-07 00:27:58
阅读次数：
250
概述本章主要写当慢查询文件很大的时候怎样在线生成一个新的慢查询文件。测试环境：mysql 5.6.21步骤配置慢查询默认的my.cnf文件在/etc/目录下vim /etc/my.cnf#slow_queryslow_query_log=1#开启慢查询slow_query_log_file=/var...
分类：
数据库 时间：
2015-12-03 19:04:44
阅读次数：
173
本文将将介绍通过logstash用来收集mysql的慢查询日志，然后推送给elasticsearch，并创建自定义的索引，最终通过kibana进行web展示。环境介绍：操作系统版本：centos6.664bitMysql版本：mysql5.6.17与mysql5.1.36Logstash版本:logstash-2.0.0.tar.gzElasticsearch版本：elastics..
分类：
数据库 时间：
2015-12-03 15:43:16
阅读次数：
750
原文:MySQL 清空慢查询文件标签：配置慢查询 概述 本章主要写当慢查询文件很大的时候怎样在线生成一个新的慢查询文件。 测试环境：mysql 5.6.21 步骤 配置慢查询 默认的my.cnf文件在/etc/目录下 vim /etc/my.cnf #slow_query slow_query_lo...
分类：
数据库 时间：
2015-12-03 09:48:30
阅读次数：
184
本文将介绍如果使用logstash，elasticsearch，kibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛，支持nginx,postfix.windows系统日志，java日志以及mysql慢查询日志，Docker日志等，并带有强大的过滤器功能，还可以输出到elasticsearch，nagios,mail等，功能相当..
分类：
其他好文 时间：
2015-12-02 18:40:10
阅读次数：
333
提到优化，先要确定出现的问题，是存储引擎选择问题，还是sql语句使用问题（如：索引）亦或者是单一存储服务器对于千万级别的数据力不从心。解决方法：1、根据不同业务选用不同存储引擎，虽然一般情况下都优先选择InnoDB。2、分析sql语句的影响结果集。查慢查询日志，定位慢查询的sql语句，查看是否有锁定...
分类：
数据库 时间：
2015-12-01 14:34:36
阅读次数：
201
