利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群,这3套集群搭建网上资料很多,这里不写,IP规划如下所示: kafka集群 10.6.11.22:9092 10.6.11. ...
分类:
Web程序 时间:
2020-02-29 13:03:35
阅读次数:
412
运行环境 系统版本:CentOS Linux release 7.3.1611 (Core) 软件版本:Kibana 7.1.0 硬件要求:最低2核4GB 安装过程 1、源码安装JDK 1.1、从官网下载源码包 官网下载地址:https://www.oracle.com/technetwork/ja ...
分类:
系统相关 时间:
2020-02-28 15:39:30
阅读次数:
110
Kibana 1. 解压了kibana的包,把文件都拷贝了出来,检查 usr share kibana的权限是root:root。以为在装的时候也可以使用root权限,但是在打包装完启动不了,报错 默认的kibana不输出日志, kibana的服务还没有日志,只能去/var/log/message里 ...
分类:
其他好文 时间:
2020-02-21 14:56:23
阅读次数:
81
为什么用到ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类:
其他好文 时间:
2020-02-20 22:15:37
阅读次数:
69
ELK简介 Elasticsearch :是一个高度可扩展的开源全文搜索和分析引擎。能够快速,实时的存储,搜索和分析大量数据,通常用做底层引擎技术。 Kibana :是一个开源分析和可视化平台,是进入Elastic Stack的窗口,可以在Elasticsearch中对程序的数据进行可视化探索和实时 ...
分类:
其他好文 时间:
2020-02-19 18:50:27
阅读次数:
94
简介目前大多数中小型企业使用tomcat服务作为后端服务器,因为tomcat支持java代码。但是每次查看tomcat的日志(catalina.out),不仅庞大,还特别不方便查询,所以应用ELK平台监控tomcat日志是很有必要的。部署过程一、安装ELK平台详细安装过程参考博客:https://blog.51cto.com/13760351/2471799二、安装tomcat服务1.安装过程可以
分类:
其他好文 时间:
2020-02-19 10:21:56
阅读次数:
170
下载外部镜像,多个节点服务器需要安装的时候再到外网下载,虽然加了加速器,修改镜像源为国内的,但是下载速度还是挺慢。 于是想我们已经安装了镜像仓库,为什么不直接将外部下载的镜像信息上传到本地仓库呢。这样只需要下载一次,然后任何需要使用的机器到本地的仓库下载安装即可。 这里我安装ELK中的L,也就是lo ...
分类:
Web程序 时间:
2020-02-18 14:35:53
阅读次数:
122
分类: "ELK" undefined 第1章 ELK简介 第2章: 传统日志分析需求 第3章: 日志收集分类 第4章 准备ES单机环境 第6章: filebeat收集Nginx的json格式日志 1.上面方案不完善的地方 2.理想中的情况 3.目标 4.修改nginx配置文件使日志转换成json ...
分类:
其他好文 时间:
2020-02-18 14:35:25
阅读次数:
89
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志,日志分散难以查找3.日志数据量大,查找慢,数据不够实时解决办法:部署ELK平台ELK介绍ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志
分类:
其他好文 时间:
2020-02-18 09:40:00
阅读次数:
367
CRUD 在我们的项目中有日志是一个必不可少的东西,但是日志的检索是一个很麻烦的事情,如每天一个日志,要找到问题就得一个一个找,并不能做到检索功能,这还算好的,如果是分布式的,每个机器都得找一遍,这种效率太低,当然可以把日志收集到一个文件中,多个机器每天的日志可以收集到一块,如果把所有的日志收集一块 ...
分类:
其他好文 时间:
2020-02-13 17:35:35
阅读次数:
102