ELK日志分析平台 一、ELK介绍 ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana,都是开源软件,新增一个beats,(轻量级日志处理工具Agent) ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kib ...
分类:
其他好文 时间:
2018-12-12 23:54:39
阅读次数:
348
1、term 过滤 term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经切词的文本数据类型): { "term": { "date": "2017-07-01" }} { "term": { "title": "内蒙古" }} 完整的例子, hostna ...
分类:
其他好文 时间:
2018-12-10 18:00:30
阅读次数:
433
近几年,互联网生成数据的速度不断递增,为了便于用户能够更快更精准的找到想要的内容,站内搜索或应用内搜索成了不可缺少了的功能之一。同时,企业积累的数据也再不断递增,对海量数据分析处理、可视化的需求也越来越高。 ...
分类:
其他好文 时间:
2018-12-09 14:12:04
阅读次数:
186
ElasticSearch:简称es ,分布式全文搜索引擎,使用java语言开发,面向文档型数据库,一条数据就是一个文档,数据用json序列化后存储。 默认端口:9200 借助redis来理解 redis以key/values方式存储数据,abc=123 通过key(abc)即可取出值(123) e ...
分类:
其他好文 时间:
2018-12-08 11:22:14
阅读次数:
550
在ELK的数据库报警系统中,发现有台机器报出了下面的错误: 当看到是发生了OOM时,以为是整个数据库实例存在了问题,线上检查发现数据库正常,后查阅资料了解到,pg对于一次执行的查询语句长度是有限制的,如果长度超过了1G,则会报出上面的错误。 上面日志中的1342177281 bytes是查询的长度。 ...
分类:
其他好文 时间:
2018-12-08 00:15:58
阅读次数:
656
一、环境准备本次我们采用yum官方仓库进行安装,之前采用rpm包安装的文档大家请看http://blog.51cto.com/wzlinux/2175836。1、软件版本Filebeat6.5.1Logstash6.5.1Elasticsearch6.5.1Kibana6.5.1JDK1.8.0_1812、服务器准备IP系统角色172.18.8.200CentOS7.5MinimalElastic
分类:
其他好文 时间:
2018-12-06 23:25:46
阅读次数:
348
全文搜索引擎 https://www.cnblogs.com/liuge36/p/10028348.html 全文搜索引擎 Elasticsearch 写在前面 最近在学Elasticsearch , 我相信只要是接触过开发的都会听过Elasticsearch或ELK这么一个技术。 主要用来做全文检 ...
分类:
其他好文 时间:
2018-12-04 17:04:49
阅读次数:
219
sed-s‘/^c/{:a;n;s@/bin/bash@/sbin/nologin0@g;/^m/!ba}‘passwd[root@elk13_bash]#catpasswda:x:1002:1002::/home/a:/bin/bashb:x:1003:1003::/home/b:/bin/bashc:x:1004:1004::/home/c:/bin/bashd:x:1005:
分类:
其他好文 时间:
2018-12-04 15:35:20
阅读次数:
522
#环境 centos 7.4 ,ELK 6 ,单节点 #服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 Kibana 可视化 #客户端 filebeat 监控、转发,作为agent filebeat-->Logstash-->Elasticsearch-->Kiba ...
分类:
其他好文 时间:
2018-12-04 13:19:13
阅读次数:
302