架构图 考虑到日志系统的可扩展性以及目前的资源(部分功能复用),整个ELK架构如下: 架构解读 : (整个架构从左到右,总共分为5层) 第一层、数据采集层 最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务(2.187、2.189) 第 ...
分类:
其他好文 时间:
2019-07-04 17:38:00
阅读次数:
181
关于supervisord: supervisor是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具,不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程,当一个进程意外被杀死,super ...
分类:
其他好文 时间:
2019-07-04 17:34:25
阅读次数:
107
解压 配置 添加环境变量 创建普通用户授权并启动 kibana的解压 测试数据下载地址:https://grouplens.org/datasets/movielens/ logstash 的安装与导入数据 ...
分类:
其他好文 时间:
2019-07-04 14:11:03
阅读次数:
233
对程序的监控,一般采用另外一个进程进行监控(即主进程和监控进程),主进程运行后,先查找下看有没有还在残留运行的监控进程,如果有先结束监控进程,然后重新启动。 如何监控主程序的思路是:主程序中开辟一个共享内存映射文件,通过定时器向文件写入变化的信号数据(自定义)。监控程序定时从共享内存文件中读取信号数 ...
系统运维的过程中,每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集,然后传输给Kafka,Logstash作为Consumer消费Kafka里边的数据,分别写入Elasticsearch和Hadoop,最后使用Kibana输出到web端供相关人 ...
分类:
其他好文 时间:
2019-07-04 09:27:39
阅读次数:
137
zabbix监控报警一台ceph节点journal盘写入寿命已经达到96%以上,根据intel官方说法写入寿命达到设置值将会无法正常写入。[root@ceph-11~]#isdctshow-sensorPowerOnHours:0x021B5EraseFailCount:0EndToEndErrorDetectionCount:0ReliabilityDegraded:FalseAvailable
分类:
其他好文 时间:
2019-07-03 15:17:12
阅读次数:
131
Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集,聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索,可视化和分享数据洞察,并管理和监控堆栈。Elasticsearch是索引,搜索和分 ...
分类:
其他好文 时间:
2019-07-03 13:30:12
阅读次数:
71
教程 https://www.yahboom.com/build.html?id=1999&cid=257 项目地址 https://github.com/revotu/ItChat xp3g 本项目的具体需求是:树莓派启动微信服务和OpenCV服务,OpenCV对摄像头实时视频监控,当检测到人脸后 ...
分类:
微信 时间:
2019-07-03 00:45:03
阅读次数:
391
1、问题发现 Prometheus报警某服务的一个节点 Old GC过多,需要排查。 2、查看GC日志 使用 命令查看异常节点的GC日志,从日志可以看出Yo ...
分类:
其他好文 时间:
2019-07-03 00:32:03
阅读次数:
133
Prometheus 是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统,由工作在 SoundCloud 的 google 前员工在 2012 年创建,作为社区开源项目进行开发,并于 2015 年正式发布。
分类:
其他好文 时间:
2019-07-02 12:14:44
阅读次数:
113