一、ELK介绍ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。二、我司应用1）同花顺PC客户端防外挂报送系统2）同花顺智能客服系统下面简单介绍下我司PC客户端防外挂系统。由于之前没有了解过ELK，在部署同花顺防外挂报送系统时候才逐步知道，同花顺自研了数据流引擎collect及pms，用于采集委托主站上日志到ES上，实时分析功能的kibana未要求安装，
分类：
其他好文 时间：
2019-11-08 09:24:25
阅读次数：
120
本篇文章主要讲解如下安装Logstash，logstash依赖于Java环境，首先安装Java，安装脚本如下： 1 yum install java logstash安装 Logstash的安装脚本如下： 1 # 下载logstash的压缩包 2 wget https://artifacts.ela ...
分类：
编程语言 时间：
2019-11-04 17:54:14
阅读次数：
116
output中配置 elasticsearch{ action => "index" hosts => ["xxx"] index => "http-log-logstash" document_type => "logs" template => "opt/http-logstash.json" ...
分类：
其他好文 时间：
2019-11-04 14:00:34
阅读次数：
148
位置 在Logstash的.conf配置文件中的output中配置ElasticSearch 示例： output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-M ...
分类：
其他好文 时间：
2019-11-04 13:47:21
阅读次数：
92
编译模板文件bigdata.template： Logstash配置文件 nginx.conf： Nginx的配置文件中关于日志格式的配置： 此处我只保留了需要的一个字段范围 产生的日志格式： 之后在Kibana里看到就是这样的： ...
分类：
Web程序 时间：
2019-11-01 16:39:13
阅读次数：
214
1.安装 es 2.安装 grunt 3.安装 logstash 4.安装 kibana 5.引入 jar 包 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-l ...
分类：
其他好文 时间：
2019-10-31 16:27:43
阅读次数：
87
ELK技术栈之-Logstash详解 前言 在第九章节中，我们已经安装好Logstash组件了，并且启动实例测试它的数据输入和输出，但是用的是最简单的控制台标准输入和标准输出，那这节我们就来深入的学习Logstash的详细使用。 常用启动参数 我们在上一节中演示了启动Logstash的实例，其中我们 ...
分类：
其他好文 时间：
2019-10-30 13:50:52
阅读次数：
365
logstash解析嵌套json格式数据 1、源文件 1.原日志文件为 在这里我们需要先把json前面一段的正则写出来，由于这些数据在实际生产没什么实际意义，所以没重点分字段 DATETIME %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE} ...
分类：
Web程序 时间：
2019-10-28 10:39:41
阅读次数：
260
Beats，Logstash负责数据收集与处理。相当于ETL（Extract Transform Load）。Elasticsearch负责数据存储、查询、分析。Kibana负责数据探索与可视化分析。 1、Elasticsearch 6.x版本的安装，我这里使用Elasticsearch 6.7.0 ...
分类：
其他好文 时间：
2019-10-26 15:11:18
阅读次数：
86
认识Beats Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。 （画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch） Beats对于收集数据非常有用。它们位于你 ...
分类：
其他好文 时间：
2019-10-26 10:31:41
阅读次数：
98
