评测Loki日志工具 本文仅对Loki进行简单评测，不涉及原理和细节。 部署Loki Loki是grafana团队开发一个日志采集工具。使用推荐使用helm方式安装loki，官方推荐的tanka需要使用aws的s3服务。安装helm后直接运行如下命令即可在loki命名空间中部署最简单的loki套件。 ...
分类：
其他好文 时间：
2020-07-18 00:43:50
阅读次数：
400
ELK docker pull elasticsearch:6.7.1docker pull kibana:6.7.1docker pull logstash:6.7.1docker run -itd --name elasticsearch6.7.1 -p 9200:9200 -p 9300:93 ...
分类：
其他好文 时间：
2020-07-17 19:41:08
阅读次数：
58
1，准备linux虚拟机环境（CentOS 7）本次安装用的是ELK7.2.0的版本(版本一定要一致) 2，先在linux安装java环境 //查找安装列表 yum -y list java* //安装 yum install java-1.8.0-openjdk.x86_64 //完成安装后验证 ...
分类：
其他好文 时间：
2020-07-17 19:27:20
阅读次数：
81
步骤 1. 理解 ELK Stack 0 在设置您自己的 ELK 堆栈之前，了解一点关于该堆栈及其组件的知识会对您有所帮助。 ELK Stack 由三个组件组成：Logstash、Elasticsearch 和 Kibana。 Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志，包 ...
分类：
其他好文 时间：
2020-07-16 00:28:37
阅读次数：
106
Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf ...
分类：
其他好文 时间：
2020-07-16 00:19:13
阅读次数：
71
这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，之后于2 ...
分类：
编程语言 时间：
2020-07-15 23:49:56
阅读次数：
93
Logstash连接MySQL 下载MySQL驱动 打开驱动jar包下载地址：https://dev.mysql.com/downloads/connector/j/ 选择平台无关的版本 下载zip版本，在本地打开，解压出jar文件 因为logstash在ubuntu下的默认配置文件路径是 /etc ...
分类：
数据库 时间：
2020-07-15 23:45:46
阅读次数：
100
Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, ...
分类：
数据库 时间：
2020-07-15 23:28:07
阅读次数：
166
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
