码迷,mamicode.com
首页 >  
搜索关键字:elk 日志收集    ( 1865个结果
大数据时代日志分析平台ELK的搭建
A,首先说说ELK是啥, ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的 B,开始搞 1,安装 Logstash 依赖包 JDK JDK 的安装方式比较简单 ...
分类:其他好文   时间:2016-08-02 18:51:48    阅读次数:176
Logstash过滤插件grok简单测试
Logstash配置文档#vimuseTime.confinput{stdin{}}filter{grok{match=>{"message"=> "\s+(?<API>调用.*(用时|异常)).*useTime=(?<useTime>\d+?)$"}}}output{stdout{codec=>rubydebug}}过滤正则表达示\s+(?<API>调用.*(用时|异常)) -->调用gz(广州..
分类:其他好文   时间:2016-07-31 00:23:20    阅读次数:2407
Elasticsearch简单配置
Elasticsearch配置详细和详细描述如下http://rockelixir.iteye.com/blog/1883373在此,对Elasticsearch进行如下简单配置cluster.name:es_clusternode.name:"es1"node.master:truenode.data:truenetwork.host: 192.168.81.128#network.bind_host:192.168.81.128#network.publish..
分类:其他好文   时间:2016-07-30 15:10:02    阅读次数:141
ELK环境部署与群集配置
一.ELK是什么?1.1ELK由来ELK是elasticsearch,logstash,kibana这三个工具的简称1.2ELK三个组件的介绍Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完..
分类:其他好文   时间:2016-07-29 23:08:16    阅读次数:1296
ELK监控日志nginx(集成Geoip)
实验环境:之前ELK已经初步安装完毕了,只需要将nginx的日志发送过来就可以了,nginx的IP为:192.168.137.101。因为服务端只是收集日志的所以下面的操作完全是在nginx机器上面完成的。在这里感谢《ELKstack权威指南》这本书,下面配置的内容都是借鉴的这本书。#/opt/logstash/b..
分类:其他好文   时间:2016-07-29 19:30:08    阅读次数:2582
ELK Stack 日志分析 Elasticsearch搜索权限
视频下载地址:链接:http://pan.baidu.com/s/1jItWoYy密码:t6cj这几年国内运维都在不断完善运维自动化!设想,IT运维自动化建设完成之后,那下一步怎么走?我可以很负责的告诉你,接下来必将是智能运维的时代!!!智能运维,是在IT信息化建设完善的前提下的一种新运维模式!它..
分类:其他好文   时间:2016-07-23 21:16:48    阅读次数:541
结合ELK进行分析PV,构建异步的WAF
引言: 首先大家应该都知道WAF的功能以及原理,市面上大致都是使用nginx+lua做到的,这里也不例外.但是稍有不同的是,逻辑层面不在lua里去做 而是使用ElasticSearch进行分析之后,lua只是使用分析后的IP地址进行封禁,大大减少直接进行阻断而产生的误报等故障. 架构图如下: 可以得 ...
分类:其他好文   时间:2016-07-23 19:43:39    阅读次数:177
ELK 的好文章连接
http://www.wklken.me/posts/2016/05/24/elk-mysql-slolog.html 处理mysql慢查询日志http://www.wklken.me/posts/2016/05/07/elk-about-2.html ELK维护的一些点(二)http://www. ...
分类:其他好文   时间:2016-07-22 18:48:55    阅读次数:174
Flume环境部署和配置详解及案例大全
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume?   flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为...
分类:Web程序   时间:2016-07-21 13:03:09    阅读次数:436
ELK日志分析成果分享
相信很多公司都有使用ELK作为运维的日志分析工具,简单、方便、美观,但是却很少有人把自己的分析成果分享出来,以下为我根据公司的具体情况做的dashboard,如果有什么建议或意见欢迎在博客下方评论,以下只针对负载均衡器做了相关分析。1.总体访问情况网站大盘信息,显示的主..
分类:其他好文   时间:2016-07-21 11:08:25    阅读次数:232
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!