一、概述1.1logstash简介?logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储、建搜索的索引,kibana提供前
分类:
其他好文 时间:
2019-11-18 09:18:47
阅读次数:
143
一. ELK是什么?ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES,它是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。 ...
分类:
其他好文 时间:
2019-11-15 09:19:31
阅读次数:
92
logstash.conf input { # For detail config for log4j as input, # See: https://www.elastic.co/guide/en/logstash/ file { type => "log" # log 名 path => "/ ...
分类:
其他好文 时间:
2019-11-13 22:11:24
阅读次数:
87
Ubuntu安装libreoffice,用于Word转pdf,并解决中文乱码问题####安装libreoffice:下载安装包安装sudodpkg-i./LibreOffice_6.2.8.2_Linux_x86-64_deb/DEBS/*.deb/*安装主安装程序的所有deb包*/sudodpkg-i./LibreOffice_6.2.8.2_Linux_x86-64_deb_langpack_
分类:
系统相关 时间:
2019-11-13 19:21:31
阅读次数:
351
因为logstash是jvm跑的,资源消耗比较大,所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人,加入http://elastic.co公司以后,因为es公司本身还收购了另一个开源项目packetbeat,而这个项目专门 ...
分类:
其他好文 时间:
2019-11-13 13:12:00
阅读次数:
75
将SpringBoot生成的日志文件,通过Logstash传输到Elasticsearch。日志文件内容格式如下 2019-11-12 22:01:23.358 调用==>用户退出登录接口参数=>"{\"phone\":\"17010058888\",\"token\":\"oo:8da500acb ...
分类:
其他好文 时间:
2019-11-13 00:58:58
阅读次数:
139
[TOC] EFK日志系统 一,EFK日志系统简介: 关于系统日志收集处理方案,其实有很多种,因为之前使用ES比较多,所以也认为ELK是一个不错的解决方案,ELK(Elasticsearch + Logstash + Kibana)来管理日志。 Kubernetes 也要实现在整个集群级别收集和聚合 ...
分类:
其他好文 时间:
2019-11-12 14:47:14
阅读次数:
127
ELK对nginx日志进行流量监控 一、前言 线上有一套ELK单机版,版本为5.2.1。现在想把nginx访问日志接入到elk里,进行各个域名使用流量带宽的统计分析。要把nginx日志传输到elk上,可以在存有nginx日志的服务器上使用logstash或者filebeat。但是因为logstash ...
分类:
其他好文 时间:
2019-11-12 09:24:53
阅读次数:
137
ELK简介ELK是三个开源软件的缩写,分别为:Elasticsearch、Logstash以及Kibana,它们都是开源软件。不过现在还新增了一个Beats,它是一个轻量级的日志收集处理工具(Agent),Beats占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具,目前由于原本的ELKStack成员中加入了Beats工具所以已改名为ElasticStack。一El
分类:
其他好文 时间:
2019-11-09 11:33:13
阅读次数:
96
一、ELK介绍ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。二、我司应用1)同花顺PC客户端防外挂报送系统2)同花顺智能客服系统下面简单介绍下我司PC客户端防外挂系统。由于之前没有了解过ELK,在部署同花顺防外挂报送系统时候才逐步知道,同花顺自研了数据流引擎collect及pms,用于采集委托主站上日志到ES上,实时分析功能的kibana未要求安装,
分类:
其他好文 时间:
2019-11-08 09:24:25
阅读次数:
120