需求 多个文本文件需要存到 ES 中去。 每一个文件存放为一个 doc。 每一个文件都是多行的,行数不定,且没有固定的内容格式。 实现 可以通过 logstash-filter-multiline 插件,配置 pattern 为 "EOF",可以实现把每一个文档当作一个 Event 处理。 ...
分类:
其他好文 时间:
2016-05-20 11:50:07
阅读次数:
1920
日志分析-1.rsyslog基础配置(服务器/客户端)centos6起/etc/syslog.conf不再有!而是/etc/rsyslog.conf代替!rsyslog是syslog的多线程增强版,现在Fedora、Ubuntu,、rhel6、centos6默认的日志系统都是rsyslog了。rsyslog主要用来收集系统产生的各种日志,日志默认放在/var/log..
分类:
其他好文 时间:
2016-05-19 19:42:54
阅读次数:
247
日志分析-2.发送windows日志到一个远程的rsyslog服务器上要将一个Windows客户端的日志消息转发到我们的rsyslog服务器,需要一个安装Windowssyslog代理。1.SyslogAgenthttp://download.cnet.com/Datagram-SyslogAgent/3000-2085_4-10370938.html2.安装SyslogAgent这里省略安装步..
分类:
Windows程序 时间:
2016-05-19 19:40:50
阅读次数:
1699
=====================参数说明====================
&~表示了一个重定向规则,被用来告知rsyslog守护进程停止对日志消息的进一步处理,
并且不要在本地写入。如果没有使用该重定向规则,那么所有的远程消息都会在写入
上述描述的日志文件之外同时被写入到本地日志文件,这..
分类:
其他好文 时间:
2016-05-19 19:26:40
阅读次数:
139
Elasticsearch是一款提供检索以及相关度排序的开源框架,同时,也支持对存储的文档进行复杂的的统计-聚合。kubana的图标就是基于聚合来绘制的。更多内容请参考Elasticsearch+Logstash+Kibana教程 前言 ES中的聚合被分成两大类:Metrics度量和bucket桶, ...
分类:
其他好文 时间:
2016-05-19 16:25:24
阅读次数:
351
官网地址 本文内容 语法 测试数据 可配置选项 参考资料 date 插件是日期插件,这个插件,常用而重要。 如果不用 date 插件,那么 Logstash 将处理时间作为时间戳。时间戳字段是 Logstash 自己添加的内置字段 @timestamp,在ES中关于时间的相关查询,必须使用该字段,你... ...
分类:
其他好文 时间:
2016-05-18 17:33:08
阅读次数:
414
Cactiez英文版只更新到v0.7,安装后默认syslog是有问题的,表现在只能接收本机syslog记录,其它设备指向它的log无法显示,在设备上使用netstatano|grepudp没有显示在监听UDP514端口。
这主要是由于配置文件有两行模块被注释导致的。
vi/etc/rsyslog.conf
将以下两行
#$ModLoadi..
分类:
其他好文 时间:
2016-05-18 10:56:36
阅读次数:
288
架构图 ELK 架构图:其中es 是集群,logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发),kibana是单机(用不着做成集群)。 1.拓扑图 2.logstash 收集日志示意图。 3.带有redis的流程图。 ELK部署 1.三种组件下载地址:https://www ...
分类:
其他好文 时间:
2016-05-17 11:29:18
阅读次数:
461
远程日志管理:S:192.168.10.115C:192.168.10.431.S,C端安装rsyslogyum-yinstallrsyslog2.修改S端配置监听514端口,提供远程日志存放。vi/etc/rsyslog.conf##去掉13,14,17,18的注释12#ProvidesUDPsyslogreception13$ModLoadimudp14$UDPServerRun5141516#ProvidesTCPsyslogrecep..
分类:
系统相关 时间:
2016-05-16 00:32:20
阅读次数:
279
运维课程:系统基础:操作系统基础,Linux理念系统管理:系统安装,文件操作,用户和组,进程管理,软件管理,磁盘管理,内核管理等服务管理:ssh,ftp,Samba,dns,postfix,Apache,nginx,MySQL,rsyslog,ntp等系统安全:pki,pam,iptables,tcp-wrapper,selinux等shell..
分类:
其他好文 时间:
2016-05-15 20:02:23
阅读次数:
143