一、问题概述 说下程序的架构。 有个后台管理系统A，在页面修改数据后，会用httpClient发http请求给系统B； 系统B做了异步机制，收到A发的请求后，将数据封装为Mq消息发给RabbitMq，然后结束该请求； 然后系统B自己也是消费者，去对应的Rabbitmq拉取消息后，封装一个httpCl ...
分类：
其他好文 时间：
2018-08-10 19:31:48
阅读次数：
192
Centos7部署ELK日志收集系统一、ELK概述：ELK是一组开源软件的简称，其包括Elasticsearch、Logstash和Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。Elasticsearch:能对大容量的数据进行接近实时的存储，搜索和分析操作。本项目中主要通过Elasticsearch存储所有获取的日志。Logstash：数据收集引擎，它支持动态的的从
分类：
系统相关 时间：
2018-08-09 17:31:06
阅读次数：
300
在工作中需要在elk中展示tomcat的日志，对其进行分析，报错排查及其它定制需求；下面为catalina.out日志样例，以此为样本进行字段的解析；2018-08-08?00:00:16,728?INFO?[com.staples.adv.action.BaseShopAction]?-?<*********entry?metho
分类：
其他好文 时间：
2018-08-08 16:42:34
阅读次数：
327
官方地址：https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html 配置文件写法: # 日志导入input {}# 日志筛选匹配处理filter {}# 日志匹配输出output {} 日志解析配置文件 ...
分类：
其他好文 时间：
2018-08-05 13:09:11
阅读次数：
778
使用beats采集日志 之前也介绍过beats是ELK体系中新增的一个工具，它属于一个轻量的日志采集器，以上我们使用的日志采集工具是logstash，但是logstash占用的资源比较大，没有beats轻量，所以官方也推荐使用beats来作为日志采集工具。而且beats可扩展，支持自定义构建。 官方 ...
分类：
其他好文 时间：
2018-08-03 14:47:43
阅读次数：
456
1、logstash是什么Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据，并且标准化数据输送到你选择的目的地。它是一款日志而不仅限于日志的搜集处理框架，将分散多样的数据搜集自定义处理并输出到指定位置。 2、logstash 原理logstash 原理非常简单 ...
分类：
其他好文 时间：
2018-08-02 20:41:11
阅读次数：
153
如题，logstash之filter处理中括号包围的内容： 摘出来数组中的所有fields 感谢时总的大力支持！！！ 核心就是正则！ match => { "message" => "^\[%{GREEDYDATA:request}\]$" } ...
分类：
其他好文 时间：
2018-08-02 12:19:52
阅读次数：
825
说明: mariadb audit log是 mariadb 的审计日志 目的是把日志拆分成 tab 键分隔的字段 直接附上 fluentd 配置文件 fluentd 比 logstash 内存占用大大下降 分析同样的日志 logstash 占用700M, fluentd 占用35M 不过 cpu ...
分类：
数据库 时间：
2018-07-31 22:10:59
阅读次数：
389
消息队列作为分布式系统中重要的组件，可以解决应用耦合，异步消息，流量削锋等系列问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场 ...
分类：
其他好文 时间：
2018-07-30 16:40:01
阅读次数：
145
ElasticSearch 下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch 5.4.1.tar.gz 依赖环境： java 参考地址：https://www.elastic.co/downloads/e ...
分类：
其他好文 时间：
2018-07-29 23:30:54
阅读次数：
308
