Elasticsearch7.8的tar.gz中会提供一个JDK为：openjdk version "14.0.1" 如果Logstash7.8也使用该版本的JDK时，在启动过程中会有一些警告信息 如不想出现这些警告信息，可以换成JDK1.8版本 vi /usr/local/logstash/bin ...
分类：
其他好文 时间：
2020-07-16 21:25:44
阅读次数：
411
步骤 1. 理解 ELK Stack 0 在设置您自己的 ELK 堆栈之前，了解一点关于该堆栈及其组件的知识会对您有所帮助。 ELK Stack 由三个组件组成：Logstash、Elasticsearch 和 Kibana。 Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志，包 ...
分类：
其他好文 时间：
2020-07-16 00:28:37
阅读次数：
106
Logstash连接MySQL 下载MySQL驱动 打开驱动jar包下载地址：https://dev.mysql.com/downloads/connector/j/ 选择平台无关的版本 下载zip版本，在本地打开，解压出jar文件 因为logstash在ubuntu下的默认配置文件路径是 /etc ...
分类：
数据库 时间：
2020-07-15 23:45:46
阅读次数：
100
Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
当面对可能存在的大数据，不能把所有数据放在一张表里，否则会影响到查询效率，那么我们需要对数据库进行分表分区，例如一天一张表，当插入数据时，判断表是否存在，不存在则创建新表，并进行数据插入。 如果我们需要在程序中通过sql语句查询来获得存在的数据库，以及某个数据库的所有表名，可以这样写： #查询所有的 ...
分类：
数据库 时间：
2020-07-15 23:31:13
阅读次数：
130
1、下载地址 https://www.mongodb.org/dl/win32/2、配置环境变量3、在c盘根目录创建一个文件夹data，在data中创建一个文件夹db4、在cmd命令行，输入mongod，启动MongoDB服务器(32位注意，第一次启动服务器时，需要输入如下内容 mongod --s... ...
分类：
数据库 时间：
2020-07-15 23:27:19
阅读次数：
89
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeli ...
分类：
其他好文 时间：
2020-07-15 22:54:27
阅读次数：
58
JavaScript 和后来新设计的语言里都是可以加也不不加分号的：Go, Scala, Ruby, Python, Swift, Groovy.. 总结下来就是一句话：一行开头是括号或者方括号的时候加上分号就可以了，其他时候全部不需要, 但是这种情况也是很少的. 例如: //db.js conso ...
分类：
编程语言 时间：
2020-07-15 22:49:54
阅读次数：
85
整理自：https://mp.weixin.qq.com/s/8KTK_Bz8netP6R5MNSKeFw 搬运贴，如果有侵权请联系删除 场景：用户注册登录，用户中心服务查询 问题：当数据量越来越大，例如达到1亿注册量时，库无法承载所有的数据，此时需要对数据库进行水平切分。 常见的水平切分算法有“范 ...
分类：
其他好文 时间：
2020-07-15 15:26:15
阅读次数：
66
