原文地址:http://www.2cto.com/os/201411/352015.html原文地址:http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash (纯英文)英语水平有限,如果有错误请各位指正简介Logs...
分类:
其他好文 时间:
2015-09-15 18:10:02
阅读次数:
195
前篇介绍过Logstash的使用,本篇继续深入,介绍下最常用的input插件——file。 这个插件可以从指定的目录或者文件读取内容,输入到管道处理,也算是logstash的核心插件了,大多数的使用场景都会用到这个插件,因此这里详细讲述下各个参数的含义与使用。最小化的配置文件 在Logsta...
分类:
其他好文 时间:
2015-09-13 21:30:42
阅读次数:
218
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 本文针对官方文档进行翻译以及实践,希望有更多的有用户了解、使用这款工具。下载、安装、使用 这款工具是开箱即用的软件,下载地址戳这里,下...
分类:
其他好文 时间:
2015-09-12 13:27:28
阅读次数:
869
#coding=utf-8#!/usr/bin/pythonimportstringimportreimportsysfile=sys.argv[1]f=open(file,‘r‘)ip_url=[]ip=[]url_url=[]whileTrue:line=f.readline()ifnotline:breakline1=line.split()clientIP=line1[0]status=line1[8]url=line1[6]ip_url.append(status)ip.append(clientI..
分类:
编程语言 时间:
2015-09-12 01:07:06
阅读次数:
275
elk+redis 搭建日志分析平台 这个是最新的elk+redis搭建日志分析平台,今年时间是2015年9月11日。 Elk分别为 elasticsearch,logstash, kibana 官网为:https://www.elastic.co/products Elasticsearch: http...
分类:
其他好文 时间:
2015-09-11 14:33:16
阅读次数:
276
实时日志统一收集的好处: ????1、快速定位集群中问题机器 ????2、无需下载整个日志文件(往往比较大,下载耗时多) ????3、可以对日志进行统计 ? ? ? a、发现出现次数最多的异常,进行调优处理 ...
分类:
其他好文 时间:
2015-09-11 12:56:09
阅读次数:
412
本文描述了一个简单的case,讲解怎么在logstash进行配置,将多个日志数据流,通过redis缓存接收,再导出到elasticsearch多个索引,即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存,两组日...
分类:
其他好文 时间:
2015-09-05 20:54:54
阅读次数:
307
最近在项目中使用LogStash做日志的采集和过滤,感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu...
分类:
其他好文 时间:
2015-08-27 10:47:03
阅读次数:
305
今天发现logstash没有任何数据写入elasticsearch,检查logs,发现报错high disk watermark [10%] exceeded on [asfasdf112xzvdx][flag=smasher] free:2.8gb[9.2%], shards will be relocated away from this nod...
分类:
其他好文 时间:
2015-08-17 17:34:36
阅读次数:
412