概述 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 起源：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的 ...
分类：
数据库 时间：
2019-09-03 11:23:58
阅读次数：
115
背景 早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。 当前的 canal 支持源端 My ...
分类：
数据库 时间：
2019-08-30 13:52:31
阅读次数：
315
mysql跨机房异地区的主从数据库同步备份业务实现解决方案 背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行 ...
分类：
数据库 时间：
2019-06-04 09:27:36
阅读次数：
150
前言 logstash是ELK日志系统中的一部分，主要承担将收集完成日志进行过滤，并且输出到es的职责。 logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集，但是由于资源开销占用过大，所以客户端的收集工作交给了beats进行，logstash专心在独立的服务器上完成日志解析处理 ...
分类：
其他好文 时间：
2019-04-12 14:57:49
阅读次数：
185
ELK = ElasticSearch + Logstash + Kibana Elasticsearch：后台分布式存储以及全文检索 Logstash : 日志加工、“搬运工” Kibana : 数据可视化展示 ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互 ...
分类：
其他好文 时间：
2019-03-08 17:16:03
阅读次数：
176
USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))NUMBER (?:%{BAS ...
分类：
其他好文 时间：
2019-02-21 11:00:31
阅读次数：
473
split方法在大数据开发中的多用于日志解析及字段key值分割，最近需求中碰到一个问题在 无论怎么分割都会出现数组下标越界问题， 由于前台在sdk中多加了几个字段（测试数据很少，大多为空） ，需要我们进行字段补全插入到mysql中，但项目过于老，2016年项目使用的是spark1.5.2不说，使用j ...
分类：
其他好文 时间：
2019-01-30 11:18:25
阅读次数：
166
分组自研的审计平台最近推出慢SQL优化的功能，topN慢SQL可以通过mysqldumpslow拿到，但由于mysqldumpslow输出的信息不包含数据库，这让程序后续的自动优化变得有些棘手。在观察了MySQL慢日志结构后，决定自己写一个python解析程序，返回的结果比mysqldumpslow解析结果上多出数据库名称这一列：Count:15Time=0.002961s(0.034505s)L
分类：
数据库 时间：
2019-01-24 13:25:58
阅读次数：
191
Filter是Logstash功能强大的主要原因，它可以对LogstashEvent进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date：日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、删除、替换等json：按照json解析字段内容到指定字段中geoip：增加地理位置数据ruby：利用ruby代码来动态修改Logstas
分类：
其他好文 时间：
2018-12-13 11:27:50
阅读次数：
276
G1垃圾回收器介绍 首先要搞清楚G1垃圾回收的过程 主要分为下面4个步骤： 初始标记（Initial Marking） 由于常规标记对象是否直接关联到GC roots，过程简单，停顿时间短 并发标记（Concurrent Marking） 由于可达性性分析，存在较长停顿 最终标记（Final Mar ...
分类：
其他好文 时间：
2018-11-13 13:09:12
阅读次数：
405
