（1） 安装Logstash依赖包JDK Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序，而不是开发，下载JRE即可。 下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。 ...
分类：
其他好文 时间：
2019-05-14 14:41:01
阅读次数：
128
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开 ...
分类：
其他好文 时间：
2019-05-14 11:08:58
阅读次数：
187
1.配置Logstash [root@Logstash logstash]# vim /usr/local/logstash/config/nginx_log.conf input { beats { port => "5044" } } filter { if [type] == "nginx"{ ...
分类：
数据库 时间：
2019-05-12 17:10:27
阅读次数：
244
前言 最近公司分了个ELK相关的任务给我，在一边学习一边工作之余，总结下这些天来的学习历程和踩坑记录。 首先介绍下使用ELK的项目背景：在项目的数据库里有个表用来存储消息队列的消费日志，这些日志用于开发者日后的维护。每当客户端生产一条消息并发送到消息队列后，就会插入一条对应的记录到数据库里。当这条消 ...
分类：
其他好文 时间：
2019-05-12 17:04:48
阅读次数：
1517
几个命令就可以完成 docker run -it --rm -d -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana 接下来安装logstash. 先在用户目录下建立目录settings,并在该目录下建立logstash.y ...
分类：
其他好文 时间：
2019-05-11 14:55:40
阅读次数：
150
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
相信有很多朋友都跟我一样，使用XAMPP集成的MYSQL，因为它操作起来实在太方便了。但是它默认不是支持UTF-8的，需要我们手动去修改配置文件my.ini 打开XAMPP的控制面板，并打开配置文件 在配置文件上加上4句话 第1句：default_character_set = utf8 第2句和第 ...
分类：
数据库 时间：
2019-05-09 17:07:13
阅读次数：
213
Kafka Connect's goal of copying data between systems has been tackled by a variety of frameworks, many of them still actively developed and maintained ...
分类：
其他好文 时间：
2019-05-02 09:39:03
阅读次数：
91
Top NSD ARCHITECTURE DAY04 案例1：导入数据 案例2：综合练习 1 案例1：导入数据 1.1 问题 本案例要求批量导入数据： 批量导入数据并查看 1.2 步骤 实现此案例需要按照如下步骤进行。 步骤一：导入数据 使用POST方式批量导入数据，数据格式为json，url 编码 ...
分类：
其他好文 时间：
2019-04-28 19:03:42
阅读次数：
137
logstash 的配置文件添加 filter { ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" } ruby { code => "event.set('@time ...
分类：
其他好文 时间：
2019-04-28 12:34:22
阅读次数：
848
