采用filebeat收集日志，日志文件频繁rotate，造成filebeat占用文件不释放，只要filebeat保持着被删除文件Open状态，操作系统就不释放磁盘空间，导致可用磁盘空间逐渐减小。使用lsof命令查看filebeat保持着的文件资源，可以发现许多被filebeat占用空间的失效文件（deleted）文件。deleted状态的文件没有释放，始终占据磁盘空间解决办法：查看filebeat
分类：
系统相关 时间：
2018-06-26 14:30:11
阅读次数：
285
Module xm_json Module xm_charconv AutodetectCharsets GBK #自动检测GBK字符集 并在input中定义 Module xm_multiline #多行匹配 HeaderLine /^\d+-\w+-\d+/ #行首匹配 ... ...
1.实验环境： 使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完
分类：
其他好文 时间：
2018-06-21 22:28:32
阅读次数：
226
filebeat收集日志文件如果日志文件重命名，是否会重新收集日志呢？答案:不会，因为收集日志是通过文件的inode的，linux中重名名，只是改变了文件名，文件在磁盘的存储位置即inode并未改变。filebeat中的data下面的registry可以查看filebeat读取的文件和offset。如重命名:mvtable_io_1.logtable_io_3.log变化重名后变为:filebea
分类：
其他好文 时间：
2018-06-18 16:08:30
阅读次数：
1089
表达式全集字符描述\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或... ...
分类：
其他好文 时间：
2018-06-18 12:47:06
阅读次数：
178
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
下载filebeat的rpm包安装filebeat 安装 配置文件/etc/filebeat/filebeat.yml 写一个配置文件 默认不带type这里自定义type为document_type: system-log-5611 排除空行exclude_lines: ['^DBG','^$'] ...
分类：
其他好文 时间：
2018-06-15 00:01:45
阅读次数：
900
一、整体架构二、filebeat介绍fielbeat是基于logstash-forwarder的源码改造而来，换句话说：filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，
分类：
其他好文 时间：
2018-06-13 16:30:43
阅读次数：
477
filebeat logstash配置模板说明为了让不同类型的日志记录到不同index，实现日志分类，需要更改默认的配置文件，ELK更新迭代速度很快，网上以前的文档适用于之前的版本filebeat的docment_type配置项已经在6版本中弃用，请使用本文配置filebeat配置模板deploy@Product1:~$?cat?/etc/filebeat/filebeat.y
分类：
其他好文 时间：
2018-06-11 13:42:36
阅读次数：
189
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存；不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类：
其他好文 时间：
2018-06-08 18:06:28
阅读次数：
319
