需求在我们的实际业务中，业务数据大部分是通过传统DB做持久化，但有时会使用Solr/Elastic Search等做搜索、缓存等其他服务，那么如何将数据同步到这些异构的存储系统中呢？这就是我最近在学习的一个东西，要想让数据非常稳定、高效、低延时的同步，并非一件易事（对于我来说是这样，如果你有非常成熟... ...
分类：
数据库 时间：
2019-07-19 23:46:15
阅读次数：
303
凌晨时候钉钉告警群里一直大量报错： 在某一个时刻，大量的dubbo 异常。 早上起来先去elk里面查询是不是并发量的问题，查了下这个时刻 并发量每秒大概300-400的量，和平时差别不大。然后找到具体的接口，通过elk的 request_time 发现有个别接口响应时间达到 1秒多,而调用的dubb ...
分类：
其他好文 时间：
2019-07-18 10:54:08
阅读次数：
637
原文:开源监控利器grafana前言： 做运维的很重要的基础工作就是监控，之前都是统计数据入库，然后前端js图表插件出图，费时费力，可定制性差 前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便，但是手头没有那么大的存储啊 也不是... ...
分类：
其他好文 时间：
2019-07-17 09:33:50
阅读次数：
170
一、前言：日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录，开源实时日志分析ELK平台应用而生，ELK由Elasticsearch、Logstash和Kibana三个开源工具组成，这三个工具可以分别部署在不同的服务器上，并且相互关联，不过需要收集哪台服务器的日志，就必须在该服务器上部署Logstash。ELK的官网是：Elastic官网ELK的工作原理如下（
分类：
其他好文 时间：
2019-07-16 22:47:28
阅读次数：
244
基于对elasticsearch中数据监控需要，我尝试了sentinl和elastalert两款工具。虽然elastalert是纯文本，但易配置管理。elk自带的watch需要付费才可使用。 6.2x版本以上，需要先运行elastalert server服务(docker),然后在能使用kibana ...
分类：
其他好文 时间：
2019-07-16 12:41:34
阅读次数：
286
一.ELK安装1.软件架构：filebeat----elasticsearch----kibana+sentinel---(邮件和钉钉)2.软件下载地址：https://www.elastic.co/cn/downloads/past-releases#（本教程使用的为6.2.4）3.elasticsearch安装[root@VM_0_7_centos~]#egrep-v"^$|^#&q
分类：
其他好文 时间：
2019-07-13 00:50:50
阅读次数：
418
作者：秦伟1.ELK的背景介绍与应用场景在项目应用运行的过程中，往往会产生大量的日志，我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量过大、文本搜索太慢、如何多维度查询。这就需要对服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统
分类：
其他好文 时间：
2019-07-11 16:58:28
阅读次数：
241
对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch(java)、Log ...
分类：
其他好文 时间：
2019-07-11 12:20:02
阅读次数：
94
背景：按照公司要求每半年更新一次所有物理服务器的ssh登录key。旧key：/root/.ssh/antiykey.pub新key：/root/.ssh/antiykey190708.pub1，确保ansible能管理所有机器确保可以ping通所有要操作的机器。添加新key：[root@xiaoxuanansible]#cataddkey.xml----hosts:antiy-allremote_
分类：
其他好文 时间：
2019-07-10 21:27:15
阅读次数：
132
其实现原理有点类似ELK。node-exporter组件负责收集节点上的metrics监控数据，并将数据推送给prometheus, prometheus负责存储这些数据，grafana将这些数据通过网页以图形的形式展现给用户。 grafana+普罗米修斯全部集成在k8s内部的方式，用pod和svc... ...
分类：
其他好文 时间：
2019-07-10 20:09:09
阅读次数：
343
