Linux日志的管理 日志：记录了你几乎所有的操作记录，用于系统的审核，故障的排除。日志文件永久存放在日志目录中，系统日志保存在/var/log中 rsyslog 按照日志类型分类，把所有日志记录到/var/log目录下。 /var/log/messages是许多进程日志文件的汇总，从该文件可以看出 ...
分类：
系统相关 时间：
2016-05-13 21:52:22
阅读次数：
364
我们在用Logstash收集日志的时候会碰到日志会错行，这个时候我们需要把错的行归并到上一行，使某条数据完整；也防止因为错行导致其他字段的不正确。
在Logstash-filter插件中，multiline插件可以解决这个问题，举个例子如下：
假如我们的日志形式如下：
2016-04-05 13:39:52.534 1.28.253.193 20160311090433074f5b47c04...
分类：
其他好文 时间：
2016-05-12 18:28:06
阅读次数：
669
项目中监控框架中用到JMXProxyBeat，在此学习已做记录。
官网文档位置https://github.com/radoondas/jmxproxybeat。
JMXProxyBeat
是一个简单的beat，检索tomcat jmx中的指标值的工具。检索出的数据提供给LogStash或者Elasticsearch呈现。jmx指标是通过在tomcat中配置“JMX Proxy Ser...
分类：
其他好文 时间：
2016-05-12 12:51:23
阅读次数：
271
在测试环境安装了一下Nginx（作为http服务器）和HAProxy（反向代理），并配置HAProxy的日志输出到/var/log/haproxy.log，笔记一下。需要说明的是，这里仅涉及基本的安装、配置方法，并不涉及生产环境中的具体用法。一、安装Nginx1、准备环境yuminstall-ygcc#一般都有
yuminstal..
分类：
其他好文 时间：
2016-05-12 00:04:50
阅读次数：
386
一、ELK说明二、架构图三、规划说明四、安装部署nginx+logstash五、安装部署redis六、安装部署logstashserver七、安装部署elasticsearch集群八、安装kibana一、ELK说明ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合..
分类：
其他好文 时间：
2016-05-11 20:03:24
阅读次数：
358
【背景】我们要统一收集日志，统一分析，统一在一个平台上搜索过滤日志！在上一篇中已经完成了ELK的搭建，那么该如何将每台客户端的日志集中到ELK平台中呢？【本系统介绍】ELK--192.168.100.10(这个地方要有FQDN创建SSL证书的时候需要配置FQDN，www.elk.com)被收集日志的客户端..
分类：
其他好文 时间：
2016-05-10 23:48:15
阅读次数：
2647
参考资料 累了就听会歌吧！ Elasticsearch中文参考文档 Elasticsearch官方文档 Elasticsearch 其他——那些年遇到的坑 Elasticsearch 管理文档 Elasticsearch集群配置以及REST API使用 Elasticsearch集群管理 Elast ...
分类：
其他好文 时间：
2016-05-07 18:01:25
阅读次数：
225
检测logstash的conf脚本
check_logstash_serve.sh
#!bin/bash
# check logstash running ? if not,start it
# example: sh check_logstash_serve.sh flumelck /opt/modules/logstash/exec_sh/lck/lck_start.sh
#传入脚本名
...
分类：
其他好文 时间：
2016-05-07 10:38:25
阅读次数：
475
有时候我们需要对一些服务器日志进行分析，并对其中错误的日志进行报警，在这里我们采用logstash来收集这些日志，和采用自己开发的邮件发送系统来发送错误日志数据。
例如我们有几个文件需要监控（BI日志）
我们可以通过配置logstash来收集这些文件日志
input{
file{
path=> "/diskb/bidir/smartbi...
分类：
其他好文 时间：
2016-05-07 07:14:34
阅读次数：
638
logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类：
其他好文 时间：
2016-05-06 19:54:54
阅读次数：
265
