一、日志按照指定格式解析拆分message https://blog.csdn.net/weixin_33883178/article/details/90588556?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-1&dep ...
分类：
其他好文 时间：
2020-05-03 16:44:03
阅读次数：
50
背景 线上的logstash总是莫名其妙的挂了，我打算写一个定时任务，一分钟去检查一次logstash进程，不存在时就把它启动 步骤 1. 编写检测启动脚本 1. 让cron定时来调用检测启动脚本 1、编写脚本 第一次完成是这个样子： !/usr/bin/env bash pid_blog= if ...
分类：
其他好文 时间：
2020-05-02 22:59:02
阅读次数：
79
原文地址： 先认识几个东西： 1、Elasticsearch ： 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 2、Logstash ： 完全开源的工具，对日志进行收集、分析，并将其存储供以后使用（如，搜 ...
分类：
其他好文 时间：
2020-05-01 16:48:36
阅读次数：
89
1、现象： 今天下午公司客户群里突然报警，说订单没有推送服务商，经排查发现是rabbitmq堵住了，查询elk和监控没有发现业务异常或超时日志。 通过rabbitmq后面发现一个队列有异常，队列不ack，未消费数量一直增长，怀疑服务假死，只能保留现场，重启服务，下面是服务重启前后队列截图 2、分析 ...
分类：
其他好文 时间：
2020-04-30 22:58:35
阅读次数：
185
ELK 官网： https://www.elastic.co/cn/what-is/elk-stack ElasticSearch ElasticSearch 是一个高可用开源全文检索和分析组件。提供存储服务，搜索服务，大数据准实时分析等。一般用于提供一些提供复杂搜索的应用 基本概念： Index ...
分类：
其他好文 时间：
2020-04-29 23:46:04
阅读次数：
71
原文:将日志输出到Docker容器外1.1 使用 Docker 容器日志 我们可以利用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志，可以免除首先进入 Docker 容器，再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备... ...
分类：
其他好文 时间：
2020-04-29 21:38:30
阅读次数：
124
背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循 ...
分类：
其他好文 时间：
2020-04-29 10:30:59
阅读次数：
96
1、logstash简介? logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成... ...
分类：
其他好文 时间：
2020-04-24 01:35:41
阅读次数：
57
最近公司在使用elasticsearch，使用的是6.5版本的。其中有一个需求就是需要把数据库已有的数据同步到elasticsearch中来，调研了几种方案。 logstash，elasticsearch-jdbc，自己实现。 暂时采用的是elasticsearch-jdbc，但是，同步的过程中，出 ...
分类：
数据库 时间：
2020-04-23 23:29:23
阅读次数：
297
1、_cluster接口命令heakth: 集群健康状况：state: 查看集群节点：stats: 统计数据； 部分截图查看单个节点状况：[root@node1 ~]# curl -X GET 'http://node1:9200/_nodes/stats?pretty'2、Plugins(插件)插... ...
分类：
其他好文 时间：
2020-04-21 23:43:07
阅读次数：
91
