1、ELK部署 ELK是elasticsearch、kibana、Logstash组合而成的整套解决方案，前面我们使用skywalking时候已经部署好elasticsearch(参见上一篇随笔)，接下来只需要安装Logstash和kibana即可 1.1、安装kibana 前面使用的elastic ...
分类：
Web程序 时间：
2020-12-16 13:01:27
阅读次数：
10
前言到了年底果然都不太平，最近又收到了运维报警：表示有些服务器负载非常高，让我们定位问题。还真是想什么来什么，前些天还故意把某些服务器的负载提高（没错，老板让我写个BUG！），不过还好是不同的环境互相没有影响。定位问题拿到问题后首先去服务器上看了看，发现运行的只有我们的Java应用。于是先用ps命令拿到了应用的PID。接着使用ps-Hppid将这个进程的线程显示出来。输入大写的P可以将线程按照CP
分类：
其他好文 时间：
2020-12-16 12:56:49
阅读次数：
7
前言前几日早上打开邮箱收到一封监控报警邮件：某某ip服务器CPU负载较高，请研发尽快排查解决，发送时间正好是凌晨。其实早在去年我也处理过类似的问题，并记录下来：《一次生产CPU100%排查优化实践》不过本次问题产生的原因却和上次不太一样，大家可以接着往下看。问题分析收到邮件后我马上登陆那台服务器，看了下案发现场还在（负载依然很高）。于是我便利用这类问题的排查套路定位一遍。首先利用top-c将系统资
分类：
其他好文 时间：
2020-12-16 12:53:07
阅读次数：
3
本篇文章主要是记录整体调整Python数据统计分析项目规范性的过程，以及自己的一些思考。 为什么要调整？ 主要是为了解决数据类程序不容易测试发现错误的现状。调整公共模块出错时抛出错误到业务层，便于报警模块上传错误信息到kafka，最后能主动发出报警邮件。以及方便加入报警之外的其他程序埋点。 调整所有 ...
分类：
编程语言 时间：
2020-12-16 12:32:52
阅读次数：
3
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis ...
分类：
其他好文 时间：
2020-12-15 11:48:37
阅读次数：
1
项目地址：https://www.tinkercad.com/things/9Yv09OZnrXy-temperature-sensor-with-display //CREATED BY GIOVANNI, LUCAS B, LUCAS F & THIAGO. //WHEN THE TEMPERA ...
分类：
其他好文 时间：
2020-12-14 12:57:39
阅读次数：
3
{{define"test.html"}}{{-ifgt(len.Alerts.Firing)0-}}@告警<tableborder="5"><tr><td>报警项</td><td>实例</td><td>报警详情</td><td>报警阀值</td
分类：
其他好文 时间：
2020-12-11 12:20:16
阅读次数：
5
