1、docker环境 部署2、jenkins自动化部署3、ELK(ES+Logstash+kibana)+Kafka4、ES搜索 1、logstash同步数据库数据,通过update>最近一次修改时间来同步数据库到ES 问题：不是实时的，并且容易丢失数据 2、可以使用消息队列 可以实时的5、myca ...
分类：
其他好文 时间：
2019-09-23 12:06:54
阅读次数：
69
logstash一个实例运行多个配置文件，将所有配置文件放到以下目录即可 /usr/share/logstash/pipeline 但是默认行为不是每个配置文件独立运行，而是作为一个整体，每个input会匹配所有的filter，然后匹配所有的output，可能会导致数据被错误的处理以及发送到错误的地 ...
分类：
其他好文 时间：
2019-09-22 12:59:01
阅读次数：
73
命令的处理方法：1）ntsysv2)setup-systemservice3)脚本一键完成处理我们用脚本处理开机我们需要启动一下4个服务crond--定时任务network--网络服务rsyslog--系统日志功能sshd--这个就是允许远程链接服务chkconfig--list|grep"3:启用"查看有哪些服务启动类似window下的msconfigforvalueinch
分类：
系统相关 时间：
2019-09-22 11:02:41
阅读次数：
103
思路：Beats -> Logstash -> Elasticsearch ...
分类：
数据库 时间：
2019-09-22 01:56:17
阅读次数：
155
去除字段只能去除_source中的，不是_source内的无法去除。 去除不必要的字段，不仅可以节省ES的存储内容，同时因为节省了ES的内容，可以加速搜索的速度 Logstash配置去除不需要的字段 重启logstash之后，再次在kibana中查看数据，已经没有了@version和message ...
分类：
其他好文 时间：
2019-09-20 21:36:14
阅读次数：
243
yum install -y haproxy 生成配置文件位置 /etc/haproxy/haproxy.cfg ########################启用日志###################### vim /etc/rsyslog.conf #由于haproxy的日志是用udp传输 ...
分类：
其他好文 时间：
2019-09-19 19:29:45
阅读次数：
89
一台正常提供服务Linux服务器，每时每刻都在产生着大量的日志信息，若生产环境中，有几十台甚至上百台服务器，那么一台一台的去查看系统的日志是非常麻烦的。在技术不断更新的今天，有很多可以技术可以对日志进行集中管理，最普遍的操作还是要属ELK日志分析系统了，不过这些日志是如何产生的？是由哪个服务来进行统一管理的呢？这篇文章就围绕着系统日志的服务——rsyslog这个服务来叙述一下。Linux系统中有很
分类：
系统相关 时间：
2019-09-19 18:05:59
阅读次数：
137
一、ELK简介 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心组件。 Elasticsearch是数据存储、搜索、分析引擎，功能非常强大；Logstash是日志的收集、过滤工具；而Kibana是一个web图形展示引擎，可以展示采集到的数据。 本文旨在通过使用 ...
分类：
其他好文 时间：
2019-09-16 22:04:07
阅读次数：
134
springboot里连接elk里的logstash，然后写指定index索引的日志，而之后使用kibana去查询和分析日志，使用elasticsearch去保存日志。 添加引用 添加配置 指定配置 logstash配置索引 kibana里建立索引 通过kiban菜单去建立索引：Management ...
分类：
编程语言 时间：
2019-09-13 20:15:14
阅读次数：
81
ELK E: ElasticSearch 搜索引擎 存储 https://www.elastic.co/cn/downloads/elasticsearch L: Logstash 日志收集 https://www.elastic.co/cn/downloads/logstash K: kibana ...
分类：
其他好文 时间：
2019-09-12 18:07:24
阅读次数：
101
