什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称为ELK stack，官方域名为static.co,ELK-stack的主要优点有如下几个：处理方式灵活：elastics ...
分类：
其他好文 时间：
2017-11-14 11:25:22
阅读次数：
288
一、ELK介绍1.1elasticsearch1.1.1elasticsearch介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于..
分类：
其他好文 时间：
2017-11-13 18:30:16
阅读次数：
214
从ELK到EFK演进 背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日 ...
分类：
其他好文 时间：
2017-11-10 18:54:59
阅读次数：
263
关于的ELK的文章说明：由于一些原因，我不能上传我的配置及操作记录。文章是我在ELK的书籍中摘取的，如果大家有看不懂的可以私信我或者加我首页的QQ群。如果我看到了，就会回复大家的。文件搭建的是ELK最新版5.6.3。环境上我们是内网环境，没有访问外网的能力，如果要访问外网..
分类：
其他好文 时间：
2017-11-10 18:46:40
阅读次数：
208
logstash简介：logstash日志分析的配置和使用logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式）..
分类：
其他好文 时间：
2017-11-10 18:43:56
阅读次数：
140
Graylog是与ELK可以相提并论的一款集中式日志管理方案，支持数据收集、检索、可视化Dashboard。本节将实践用Graylog来管理Docker日志。Graylog架构Graylog架构如下图所示：Graylog负责接收来自各种设备和应用的日志，并为用户提供Web访问接口。Elasticsearch用于索引和保存Gray..
分类：
其他好文 时间：
2017-11-10 12:49:51
阅读次数：
234
前面的ELK中我们是用Filebeat收集Docker容器的日志，利用的是Docker默认的loggingdriverjson-file，本节我们将使用fluentd来收集容器的日志。Fluentd是一个开源的数据收集器，它目前有超过500种的plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd会负责收..
分类：
其他好文 时间：
2017-11-08 10:28:37
阅读次数：
109
一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你..
分类：
系统相关 时间：
2017-11-07 23:01:28
阅读次数：
417
简介： ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成： Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具 ...
在elasticalert/ruletypes.py中定义的各种RuleType类构成了ElastAlert背后的主要逻辑。在每个规则的内存中保存一个实例，通过使用给定的过滤器查询Elasticsearch返回的所有数据，并基于该数据生成匹配。要选择规则类型，请将type选项设置为规则配置文件中规则类型的名称：type:..
分类：
其他好文 时间：
2017-11-06 22:49:02
阅读次数：
166
