0、题记本文建立在干货|LogstashGrok数据结构化ETL实战上，并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。幸运的是，我们有正则表达式库：Oniguruma。Oniguruma是一个灵活的正则表达式库。它包含多种语言的不同正则表达式实现的特性。Github地址：https://github.com/kkos/oniguruma1、基础再认知Logsta
分类：
其他好文 时间：
2020-07-31 01:08:58
阅读次数：
76
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
1、常见的降维的方法有：主成分分析，线性判别分析，等距映射，局部线性插入，拉不拉斯特征映射，局部保留投影。 一、PCA: 2、:主成分分析法，最经典的降维的方法，是一种线性，非监督，全局的降维方法。 最大方差理论： 3、PCA旨在找到数据中的主成分，用这些主成分表征原始数据，达到降维的目的。信号具有 ...
分类：
其他好文 时间：
2020-07-30 22:04:18
阅读次数：
75
SpringMVC的文件上传 1-SpringMVC的请求-文件上传-客户端表单实现(应用) 文件上传客户端表单需要满足： 表单项type=“file” 表单的提交方式是post 表单的enctype属性是多部分表单形式，及enctype=“multipart/form-data” <form ac ...
分类：
编程语言 时间：
2020-07-30 18:12:41
阅读次数：
81
分库分表中间件的高可用实践 前言 分库分表中间件在我们一年多的锤炼下，基本解决了可用性和高性能的问题(只能说基本，肯定还有隐藏的坑要填)，问题自然而然的就聚焦于高可用。本文就阐述了我们在这方面做出的一些工作。 哪些高可用的问题 作为一个无状态的中间件，高可用问题并没有那么困难。但是尽量减少不可用期间 ...
分类：
其他好文 时间：
2020-07-29 15:36:49
阅读次数：
80
一、模型关联 1.一对多/多对多 在一中关联多中的字段，type为 mongoose.Schema.Types.ObjectId ，并关联关联模型的名称。 1 const Categoryschema = new mongoose.Schema({ 2 name: { type: String }, ...
分类：
数据库 时间：
2020-07-29 10:13:51
阅读次数：
71
PHP7里面使用如下库，操作比较复杂 PHP7连接MongoDB语法如下： //参数规则: mongodb://账号:密码@IP:端口/数据库 $manager = new \MongoDB\Driver\Manager("mongodb://php:123456@localhost:27017/p ...
分类：
数据库 时间：
2020-07-29 09:52:05
阅读次数：
74
现在的logstash版本，插件都是自带的，所以不需要安装ruby和logstash，如果需要的插件没有在安装 安装配置Ruby 我的CentOS的版本比较低，是CentOS6.6的，直接通过yum安装的Ruby的版本比较低，导致安装的时候会出现很多问题（网上的很多解决方案写的很高档，但是都没有解决 ...
分类：
其他好文 时间：
2020-07-28 22:50:30
阅读次数：
105
图灵学院 java架构师学习路线 相信每个软件程序员对数据库这个名词都不陌生吧，今天就由我为大家总结大家生活中最常用到的MongoDB，可能有许多软件专业的学生都没听过这个词，MongoDB究竟是什么？下面请为大家一一道来MongoDB的来由和功能。 MongoDB是一个介于关系数据库和非关系数据库 ...
分类：
数据库 时间：
2020-07-28 22:26:57
阅读次数：
88
