环境： 原elasticsearch版本:6.5.0 目的elasticsearch 版本:7.4.0 1.下载logstash 我这里下载的是6.8.5版本 https://artifacts.elastic.co/downloads/logstash/logstash-6.8.5.tar.gz ...
分类：
其他好文 时间：
2020-08-06 20:41:31
阅读次数：
69
函数返回类型描述例子 to_char(timestamp, text) text 把时间戳转成字符串 to_char(current_timestamp, 'HH12:MI:SS') to_char(interval, text) text 把间隔转成字符串 to_char(interval '15 ...
分类：
数据库 时间：
2020-08-04 09:53:18
阅读次数：
92
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
0、题记本文建立在干货|LogstashGrok数据结构化ETL实战上，并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。幸运的是，我们有正则表达式库：Oniguruma。Oniguruma是一个灵活的正则表达式库。它包含多种语言的不同正则表达式实现的特性。Github地址：https://github.com/kkos/oniguruma1、基础再认知Logsta
分类：
其他好文 时间：
2020-07-31 01:08:58
阅读次数：
76
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
import datetime import time import json import hashlib import base64 import requests import pandas import browsercookie from collections import Counte ...
分类：
编程语言 时间：
2020-07-29 09:54:19
阅读次数：
69
现在的logstash版本，插件都是自带的，所以不需要安装ruby和logstash，如果需要的插件没有在安装 安装配置Ruby 我的CentOS的版本比较低，是CentOS6.6的，直接通过yum安装的Ruby的版本比较低，导致安装的时候会出现很多问题（网上的很多解决方案写的很高档，但是都没有解决 ...
分类：
其他好文 时间：
2020-07-28 22:50:30
阅读次数：
105
安装步骤(6.8.5使用x-pack ssl方式) 1.1 环境部署 数据库部署 节点 ip 角色 Host01 192.168.1.134 Host02 192.168.1.135 Host03 192.168.1.85 1.2 安装java 安装java，确保版本在1.8以上 [root@loc ...
分类：
其他好文 时间：
2020-07-28 22:19:56
阅读次数：
202
