ELK是什么??Sina、饿了么、携程、华为、美团、freewheel、畅捷通、新浪微博、大讲台、魅族、IBM......这些公司都在使用ELK!ELK!ELK!?ELK竟然重复了三遍,是个什么鬼?ELK其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写–Elasticsearch:负责日志检索和储存–Logstash:负责日志的收集和分析、处理–Kibana:负责日志的可视化–这
分类：
其他好文 时间：
2018-07-04 15:12:37
阅读次数：
226
原文地址：Logstash 基础入门博客地址：http://www.extlight.com 一、前言 Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。 顾名思义，Logstash 收集数据对象就是日志文件。 ...
分类：
其他好文 时间：
2018-06-29 17:20:59
阅读次数：
188
ELK从5.6.3升级到6.3.0总结 由于6.3.0默认有es的监控功能，并且我们现在es总是有各种问题，原有的es开源插件head和HQ的监控都不够详细，所以决定升级es集群。我们目前es有5个node。我们的数据流向是filebeat logstash kafka logstash elast ...
分类：
其他好文 时间：
2018-06-29 14:09:54
阅读次数：
407
先简单说一下部署思路及原理（不一定正确，只是个人理解而已） 1.修改系统参数，以便安装软件 2.安装配置elasticsearch，这个相当于总监测中心，用来收集logstash监测的各种服务应用日志，然后将监测的各个logstash的日志发送给kibana 3.安装配置logstash，这个相当于 ...
分类：
其他好文 时间：
2018-06-28 15:23:12
阅读次数：
174
elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后分析使 ...
分类：
其他好文 时间：
2018-06-26 22:31:55
阅读次数：
196
一、搜索效率优化 批量提交 当有大量数据提交的时候，建议采用批量提交。 比如在做 ELK 过程中 ，Logstash indexer 提交数据到 Elasticsearch 中 ，batch size 就可以作为一个优化功能点。但是优化 size 大小需要根据文档大小和服务器性能而定。 像 Logs ...
分类：
其他好文 时间：
2018-06-26 20:50:46
阅读次数：
202
flume：用来搜集日志，将日志传输至kakfa kafka：作为缓存，存储来自flume的日志 es：作为存储媒介，存放日志 logstash：真对日志进行过滤处理 flume部署 获取安装包、解压 修改flumen-env.sh脚本，设置启动参数 编辑配置文件 创建kafka的topic 启动f ...
分类：
Web程序 时间：
2018-06-26 18:01:46
阅读次数：
357
1. Logstash概述 Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。 Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop ...
分类：
其他好文 时间：
2018-06-23 00:07:45
阅读次数：
296
一.配置nginx 二、配置logstash 三、Kibana展示 Head插件查看： ...
分类：
Web程序 时间：
2018-06-22 13:24:14
阅读次数：
214
1.实验环境： 使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完
分类：
其他好文 时间：
2018-06-21 22:28:32
阅读次数：
226
