前言Canal是阿里巴巴开源的数据库Binlog日志解析框架，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。在之前我写的文章阿里开源MySQL中间件Canal快速入门中，我已经介绍了Canal的基本原理和基础使用。在部署到生产环境的过程中，自己作为一个菜鸟，又踩了一些坑，期间做了记录和总结，并再解决后分析了下原因，便有了此文。本文重点内容Canal常见的三大问题原因分析及解决
分类：
其他好文 时间：
2020-12-11 12:06:18
阅读次数：
3
Canal是阿里巴巴旗下的一款开源项目，利用Java开发。主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费，目前主要支持MySQL。 ...
分类：
数据库 时间：
2020-10-20 16:24:09
阅读次数：
50
前言：前面文章讲述了MySQL系统中常见的几种日志，其实还有事务相关日志redolog和undolog没有介绍。相对于其他几种日志而言，redolog和undolog是更加神秘，难以观测的。本篇文章将主要介绍这两类事务日志的作用及运维方法。1.重做日志（redolog）我们都知道，事务的四大特性里面有一个是持久性，具体来说就是只要事务提交成功，那么对数据库做的修改就被永久保存下来了，不可能因为任何
分类：
数据库 时间：
2020-09-08 20:56:41
阅读次数：
145
前言：前面文章讲述了MySQL系统中常见的几种日志，其实还有事务相关日志redolog和undolog没有介绍。相对于其他几种日志而言，redolog和undolog是更加神秘，难以观测的。本篇文章将主要介绍这两类事务日志的作用及运维方法。1.重做日志（redolog）我们都知道，事务的四大特性里面有一个是持久性，具体来说就是只要事务提交成功，那么对数据库做的修改就被永久保存下来了，不可能因为任何
分类：
数据库 时间：
2020-09-08 20:56:22
阅读次数：
46
引言在很多安全分析类产品建设的过程中都会涉及到关联分析，比如日志分析、soc、态势感知、风控等产品。之前的文章中阐述过五种最常见的关联分析模型，在文中也介绍了：要想达到很好的关联分析效果，前提是对采集过来的日志进行标准化解析。解析的维度越多、内容越准确，对关联分析的支撑性就越强。下面就来介绍一下日志解析的一些常用内容。一、概述很多公司在自己的产品介绍中描述产品有多少种日志解析规则等等，当然，这种内
分类：
其他好文 时间：
2020-06-30 00:27:35
阅读次数：
69
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana，三者各司其职，相互配合，共同完成日志的数据处理工作。ELK各组件的主要功能如下： elasticsearch，数据存储以及全文检索； logstas ...
分类：
数据库 时间：
2020-05-14 02:03:08
阅读次数：
148
原理 使用filebeat来上传日志数据，logstash进行日志收集与处理，elasticsearch作为日志存储与搜索引擎，最后使用kibana展现日志的可视化输出。所以不难发现，日志解析主要还是logstash做的事情。 从上图中可以看到，logstash主要包含三大模块： INPUTS: 收 ...
分类：
其他好文 时间：
2020-03-27 11:07:58
阅读次数：
212
数据异构指的是把数据按照需要异地构建存储。 其中一个应用场景是分库分表的时候。假如已经按照某个维度做了分库分表，新来一个需求，需要按照另外一个维度做分库分表，这个时候就需要数据异构了。 数据异构主要有两种方式，binlog方式和mq方式。binlog方式是指订阅mysql的binlog日志，解析这些 ...
分类：
其他好文 时间：
2020-03-21 18:07:27
阅读次数：
65
1、概述 1.1、canal用途： 基于 Mysql数据库 增量日志解析，提供 增量数据 订阅、消费； 1.2、canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x； 2、工作原理 3、实战 3.1、Mysql 开启Binlog写入功 ...
分类：
其他好文 时间：
2020-01-09 13:02:57
阅读次数：
364
canal [k?'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量 ...
分类：
其他好文 时间：
2019-10-28 01:12:40
阅读次数：
91
