之前聊了一下graylog如何采集nginx日志，为此我介绍了两种采集方法（主动和被动），让大家对graylog日志采集有了一个大致的了解。 从日志收集这个角度，graylog提供了多样性和灵活性，大家可以根据自身场景选择适合自己的一种。 这次要跟大家聊的是如何通过graylog采集mysql慢日志 ...
分类：
数据库 时间：
2020-03-16 14:56:32
阅读次数：
110
graylog可以通过两种方式采集nginx日志，一种是通过Graylog Collector Sidecar进行采集（主动方式），另外是通过修改nginx配置文件的方式进行收集（被动方式）。 这次说一下修改nginx配置文件（被动方式）。 被动方式的好处就是nginx将定义好的日志字段以json格 ...
分类：
其他好文 时间：
2020-03-15 13:46:44
阅读次数：
76
1.启动nginx服务程序： shell# nginx 2.重载nginx配置文件： shell# nginx -s reload 3.平滑停止nginx进程： shell# nginx -s quit 4.更替nginx日志文件： shell# nginx -s reopen ...
分类：
其他好文 时间：
2020-03-13 01:23:27
阅读次数：
73
打开nginx.conf 可以看到log_format 的默认配置如下，今天我们来一起学习一下nginx log_format 的配置，以及一些变量的作用； log_format main '$remote_addr - $remote_user [$time_local] $scheme $htt ...
分类：
其他好文 时间：
2020-03-11 10:37:16
阅读次数：
73
[TOC] 数据分析介绍 以前使用的语言是R语言来进行数据分析的，BI（商业智能部），现在有了Python语言，其语法简洁，写的代码量非常少，现在有转向Python的趋势。 数据的来源 公司足够大，那每天产生的数据（nginx日志数据），就足够我们分析使用（10TB）； 买数据，天眼查（50W个公司 ...
分类：
其他好文 时间：
2020-03-02 23:01:19
阅读次数：
108
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
分类：
其他好文 时间：
2020-03-02 22:35:52
阅读次数：
414
安装目录详解 /etc/logrotate.d/nginx 配置文件 Nginx日志轮转，用于logrotate服务的日志切割 /etc/nginx /etc/nginx/nginx.conf /etc/nginx/conf.d /etc/nginx/conf.d/default.conf 类型：目 ...
分类：
其他好文 时间：
2020-02-27 16:16:53
阅读次数：
69
Nginx的日志文件是没有切割(rotate)功能的，但是我们可以写一个脚本来自动切割日志文件。 首先我们要注意两点： 1.切割的日志文件是不重名的，所以需要我们自定义名称，一般就是时间日期做文件名。 2.既然是自动切割日志文件，那当然需要定时任务来进行操作，但是这里还涉及一个问题，Nginx的日志 ...
分类：
其他好文 时间：
2020-02-24 15:21:57
阅读次数：
79
5.Nginx日志配置 Nginx有非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式 通过log_format命令定义格式 1.log_format指令 # 配置语法：包括：error.log access.log Syntax: log_format name [escap ...
分类：
其他好文 时间：
2020-02-07 18:52:50
阅读次数：
94
近几天查询传参日志，发现access日志57G，不方便查日志，还要使用awk或grep命令查，虽然快，较麻烦，不如查询某天的搜索下快 12月的服务改造上线后，更改了服务器，之前机器是以前的运维操作的nginx日志切割。 基于这个背景，了解下日志切割，详细方法如下： 1.备份脚本的实现 #设置日志文件 ...
分类：
其他好文 时间：
2020-02-04 00:27:34
阅读次数：
93
