之前搭建logstash的时候使用过elasticsearch。 刚好最近在公司也用到了es，写篇水文记录一下也当做笔记吧。 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，使用RESTful web暴露接口。 它有许多特性，比如以下几个属性 ...
分类：
其他好文 时间：
2017-07-27 00:52:49
阅读次数：
134
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2017-07-26 18:10:59
阅读次数：
1037
filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
上一篇里主要是介绍了ES和ES-Head的安装过程，这一篇继续介绍ELK集群的其他核心组件安装过程。 五、安装Logstash： 本案的Logstash安装在10.113.130.117上；燃鹅，Logstash也可以利用多台组成集群，如果未来单台处理不过来，可以把Logstash扩展到其他服务器上 ...
分类：
其他好文 时间：
2017-07-22 19:40:36
阅读次数：
878
Preparation 假设当前为root用户，并已有jdk1.8环境。 cd /opt/package useradd sealion ElasticSearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticse ...
分类：
其他好文 时间：
2017-07-19 18:28:38
阅读次数：
158
本文记录了三个配置文件：第一个：all.conf通过一个配置文件，配置输入输出，实例；第二个：shipper.conf配置logstash收集日志内容到redis里；第三个：indexer.conf配置logstash从redis里读取日志内容输出到Elasticsearch里。第二个跟第三个配置解耦收集日志ELK解耦logstash---..
分类：
其他好文 时间：
2017-07-12 15:20:58
阅读次数：
242
环境的困境（原因）1、开发人员不能登录线上服务器查看相信日志；2、各个系统都有日志，日志数据分散难以查找；3、日志数据量大，查询速度慢，或者数据不够及时。（状态码400的top10）收集->存储->统计->报警、、、ElasticSearch+Logstash+Kibana=ELKStack1、分布式全..
分类：
其他好文 时间：
2017-07-12 10:02:30
阅读次数：
474
先说背景，由于本人工作需要创建很多小应用程序，而且在微服务的大环境下，服务越来越多，然后就导致日志四分五裂，到处都有，然后就有的elk，那么问题来了 不能每个小应用都配置一个 logstash 服务来传输日志吧，把所有的日志都 输送到一个logstash里面 然后logstash会都输送到一个索引下 ...
分类：
其他好文 时间：
2017-07-11 19:34:41
阅读次数：
1190
ELK是指Elasticsearch+Logstash+Kibaba三个组件的组合。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、过..
分类：
其他好文 时间：
2017-07-05 20:04:12
阅读次数：
452
基于Heka，ElasticSearch和Kibana的分布式后端日志架构目前主流的后端日志都采用的标准的elk模式（Elasticsearch，Logstash，Kinaba），分别负责日志存储，收集和日志可视化。不过介于我们的日志文件多样，分布在各个不同的服务器，各种不同的日志，为了日后方便二次开发定制。..
分类：
其他好文 时间：
2017-07-04 13:28:20
阅读次数：
119
