一，日志基础 日志：记录时间，地点，任务，事件 格式：日期时间 主机 进程[pid]: 事件内容 rsyslog 特性： 多线程，UDP, TCP, SSL, TLS, RELP，MySQL, PGSQL, Oracle实现日志存储 强大的过滤器，可实现过滤记录日志信息中任意部分，自定义输出格式 日 ...
分类：
其他好文 时间：
2019-05-18 09:49:29
阅读次数：
158
1.连接从Redis中获取日志文件并存储到ES中 [root@Logstash ~]# vim /usr/local/logstash/config/redis.conf input { beats { port => "5044" } redis { data_type => "list" key ...
分类：
其他好文 时间：
2019-05-16 19:14:03
阅读次数：
129
（1） 安装Logstash依赖包JDK Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序，而不是开发，下载JRE即可。 下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。 ...
分类：
其他好文 时间：
2019-05-14 14:41:01
阅读次数：
128
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开 ...
分类：
其他好文 时间：
2019-05-14 11:08:58
阅读次数：
187
1.配置Logstash [root@Logstash logstash]# vim /usr/local/logstash/config/nginx_log.conf input { beats { port => "5044" } } filter { if [type] == "nginx"{ ...
分类：
数据库 时间：
2019-05-12 17:10:27
阅读次数：
244
前言 最近公司分了个ELK相关的任务给我，在一边学习一边工作之余，总结下这些天来的学习历程和踩坑记录。 首先介绍下使用ELK的项目背景：在项目的数据库里有个表用来存储消息队列的消费日志，这些日志用于开发者日后的维护。每当客户端生产一条消息并发送到消息队列后，就会插入一条对应的记录到数据库里。当这条消 ...
分类：
其他好文 时间：
2019-05-12 17:04:48
阅读次数：
1517
几个命令就可以完成 docker run -it --rm -d -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana 接下来安装logstash. 先在用户目录下建立目录settings,并在该目录下建立logstash.y ...
分类：
其他好文 时间：
2019-05-11 14:55:40
阅读次数：
150
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
Kafka Connect's goal of copying data between systems has been tackled by a variety of frameworks, many of them still actively developed and maintained ...
分类：
其他好文 时间：
2019-05-02 09:39:03
阅读次数：
91
1、检查定时任务是否运行步骤一：检查当前服务是否运行步骤二：检查服务开机是否自动启动步骤三：确保rsyslog是否运行，它运行才能往/var/log/messages,/var/log/secure/,/var/log/cron等日记文件写数据
分类：
其他好文 时间：
2019-04-29 19:30:25
阅读次数：
148
