前言Canal是阿里巴巴开源的数据库Binlog日志解析框架,主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费。在之前我写的文章阿里开源MySQL中间件Canal快速入门中,我已经介绍了Canal的基本原理和基础使用。在部署到生产环境的过程中,自己作为一个菜鸟,又踩了一些坑,期间做了记录和总结,并再解决后分析了下原因,便有了此文。本文重点内容Canal常见的三大问题原因分析及解决
分类:
其他好文 时间:
2020-12-11 12:06:18
阅读次数:
3
如果我们所在公司的业务量比较大,在生产环境经常会出现JVM内存溢出的现象,那我们该如何快速响应,快速定位,快速恢复问题呢?本文将通过一个线上环境JVM内存溢出的案例向大家介绍一下处理思路与分析方法。案例:架构组接到某项目组反馈,Zabbix监控上显示JMX不可用,请求协助处理。分析思路:JMX不可用,往往是由于垃圾回收时间停顿时间过长、内存溢出等问题引起的。线上故障分析的原则是首先要采取措施快速恢
分类:
其他好文 时间:
2020-12-08 12:46:27
阅读次数:
4
redis5.0安装部署参考一键安装脚本1.目前在生产环境已经有的集群环境为3个master、3个slave,现在添加2个节点,形成5个master和5个slave将安装好的新redis节点添加到集群,安装好的节点规划如下:172.16.153.32:7002和172.16.153.32:7003前面的是master后面的是slave172.16.153.33:7004和172.16.153.33
分类:
其他好文 时间:
2020-12-08 12:22:25
阅读次数:
4
消息组接到某项目组反馈,topic在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务?考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下:例如业务主体名topic_dw_test_by_order_01的路由信息如图所示:当前的消费者信息:broker的配置信息如下:brokerClusterName=DefaultCl
分类:
其他好文 时间:
2020-12-07 12:44:57
阅读次数:
13
一、配置中心 nacos有两大功能:注册中心和配置中心 nacos的中文文档:https://nacos.io/zh-cn/docs/open-api.html 1、配置文件的缺点 (1)生产环境的数据库的用户名和密码都配置在配置文件中,所有开发人员都能看到密码,这就造成了一定的安全隐患; (2)配 ...
分类:
其他好文 时间:
2020-12-07 12:04:54
阅读次数:
3
在生产环境,我们对密码要求比较高,如密码复杂度、密码有效期、账号授权、账号允许白名单等等
本文档使用:mysql5.7,重点介绍密码复杂度配置
分类:
数据库 时间:
2020-12-05 10:39:30
阅读次数:
7
设计Spark程式过程中最初始的是创建RDD数据集,该数据集来自定义的源数据,当RDD数据集初始后,再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法,比如:通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式,生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为,通过输入算子(
分类:
其他好文 时间:
2020-12-04 10:59:58
阅读次数:
4
背景 生产环境 Nginx 需要增加支持 TCP 反向代理功能,需要再添加--with-stream参数重新编译后,在线升级 Nginx。 在线升级 # 查看当前版本(注意为大写 V) $ cd /usr/local/nginx/sbin $ nginx -V nginx version: ngin ...
分类:
其他好文 时间:
2020-12-03 11:38:14
阅读次数:
3
LAMP架构应用实战—Apache服务基于端口虚拟主机配置LAMP架构应用实战—Apache服务基于端口虚拟主机配置前面介绍了基于域名、IP的虚拟主机配置,实际生产环境中使用最多的还是基于域名的虚拟主机,今天介绍的基于端口的虚拟主机也不常用,但用的最多的场景就是:公司内网(如网站后台页面、其它发布类的页面)基于端口的虚拟配置非常简单默认情况http默认监听的是80端口,所以配置基于端口的虚拟主机,
分类:
Web程序 时间:
2020-12-02 12:44:53
阅读次数:
16
Linux系统SSH服务之sshkey密钥认证实战Linux系统SSH服务之sshkey密钥认证实战前面介绍了SSH服务一些特性及其简单配置,在实际的生产环境中,经常会用到sshkey密钥认证实行数据分发数据等操作,还可以批量操作内网服务器,实行免密认证进行推送分发数据实际生产结构拓扑图如下整个配置过程整个配置环境只用一两台服务器一、实际环境查看分发服务器[root@Centos~]#cat/et
分类:
系统相关 时间:
2020-12-02 12:43:08
阅读次数:
12