ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
分类：
其他好文 时间：
2020-03-02 22:35:52
阅读次数：
414
一、ELK部署 1. 安装logstash 1. 解压logstash2.4.0 2. 在解压目录下新建config目录，新建logstash.conf(建配置文件) 3. 配置文件编解内容 4. 启动 nohup ./bin/logstash f config/logstash.conf log. ...
分类：
其他好文 时间：
2020-02-29 18:47:14
阅读次数：
184
利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群，这3套集群搭建网上资料很多，这里不写，IP规划如下所示： kafka集群 10.6.11.22:9092 10.6.11. ...
分类：
Web程序 时间：
2020-02-29 13:03:35
阅读次数：
412
主要补充内容： 1.同步多表 2.配置的参数个别说明 3.elasticsearch的"_id"如果有相同的，那么会覆盖掉，相同"_id"的数据只会剩下最后一条。所以还是用数据表中主键自增的id比较好，当然如果有需要也可以自己改变成别的UUID之类的。 elasticsearch默认的"_type" ...
分类：
其他好文 时间：
2020-02-28 18:29:59
阅读次数：
64
运行环境 系统版本：CentOS Linux release 7.3.1611 (Core) 软件版本：Kibana 7.1.0 硬件要求：最低2核4GB 安装过程 1、源码安装JDK 1.1、从官网下载源码包 官网下载地址：https://www.oracle.com/technetwork/ja ...
分类：
系统相关 时间：
2020-02-28 15:39:30
阅读次数：
110
com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library? https://www.cnblogs.com/Hackerman/p/11 ...
分类：
数据库 时间：
2020-02-27 00:38:38
阅读次数：
178
说明：本文为Windows环境下的相关安装示例，适用于需要用Logstash和Logstash-input-jdbc将数据从数据库导入到Elasticsearch中的场景。 一、前置条件 电脑上安装有JDK8或者以上版本，安装有ElasticSearch，并启动。 二、安装并验证Logstash 1 ...
分类：
数据库 时间：
2020-02-24 13:23:03
阅读次数：
69
Kibana 1. 解压了kibana的包，把文件都拷贝了出来，检查 usr share kibana的权限是root:root。以为在装的时候也可以使用root权限，但是在打包装完启动不了，报错 默认的kibana不输出日志， kibana的服务还没有日志，只能去/var/log/message里 ...
分类：
其他好文 时间：
2020-02-21 14:56:23
阅读次数：
81
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2020-02-20 22:15:37
阅读次数：
69
