Dbus所支持两类数据源的实现原理与架构拆解。 大体来说，Dbus支持两类数据源： RDBMS数据源 日志类数据源 一、RMDBMS类数据源的实现 以mysql为例子. 分为三个部分： 日志抽取模块 增量转换模块 全量拉取模块 1.1 日志抽取模块（Extractor） mysql 日志抽取模块由两 ...
分类：
数据库 时间：
2019-09-18 11:38:01
阅读次数：
142
pipelinewise 是基于开源singer 指南开发的数据pipeline工具，与singer tap 以及target 兼容 支持的特性 内置的elt 特性 轻量级 支持多种复制方法，cdc（基于log 的）基于key 的增量模式，全量 管理schema的变动 加载时的数据转换（可以方便进行 ...
分类：
其他好文 时间：
2019-09-17 09:24:40
阅读次数：
74
1.全量备份 全量数据就是数据库中所有的数据，全量备份就是把数据库中所有的数据进行备份。 备份所有库： mysqldump -uroot -ppoldboy -S /data/3306/mysql.sock -F -B -A|gzip >/server/backup/mysqlbak_$(date+ ...
分类：
数据库 时间：
2019-09-11 22:00:58
阅读次数：
123
本文源码：GitHub·点这里||GitEE·点这里一、水平分割1、水平分库1)、概念：以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。2)、结果每个库的结构都一样；数据都不一样；所有库的并集是全量数据；2、水平分表1)、概念以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。2)、结果每个表的结构都一样；数据都不一样；所有表的并集是全量数据；二、Shard-jdbc中间件1、
分类：
数据库 时间：
2019-08-31 23:21:41
阅读次数：
110
1，Rsync介绍rsync:是一个远程同步传输工具，可通过LAN/WAN快速通过多台主机之间的文件rsync通过“rsync算法”来远程同步传输两个主机之间不同的文件。而不需要传输已经有的文件来达到快速传输同步文件的目的端口：873模式：C/S2，应用场景备份方式：全量备份：备份所有的文件增量备份：备份与上一次备份增加的文件应用场景：1）本端传输到对端2）对端传输到本端3）分层模式4）云服务器中
分类：
其他好文 时间：
2019-08-28 23:54:56
阅读次数：
317
1.Rsync基本概述 rsync是一款开源、快速、多功能、可实现 全量及增量 的本地或 远程数据同步 备份的优秀工具。rsync软件适用于Unix/linux/Windows等多种操作系统平台。 rsync 简介 rsync监听端口：873 rsync运行模式：C/S client/server ...
分类：
其他好文 时间：
2019-08-26 21:08:27
阅读次数：
68
主从模式介绍 Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。 主从同步过程 Redis全量复制一般发生在Sla ...
分类：
其他好文 时间：
2019-08-25 01:20:17
阅读次数：
164
前言 通常情况rpm包组件管理方式下的linux环境，常用打补丁的方式只有一种：修改spec文件定义的Patch和patch字段，其实spec文件中调用的底层命令还是patch. 因为业务需要要编译内核，需要测试某一阶段不同补丁对内核的影响，但是通过修改spec文件进行编译时每次都是全量编译，验证周 ...
分类：
系统相关 时间：
2019-08-23 19:11:37
阅读次数：
123
推荐系统一般分为两个阶段，即召回阶段和排序阶段。召回阶段主要是从全量的商品库中得到用户可能感兴趣的一小部分候选集，排序阶段则是将召回阶段得到的候选集进行精准排序，推荐给用户。 推荐系统中几种常用的召回策略。主要有协同过滤、向量化召回和阿里最近在Aicon中提到的深度树匹配模型。 1、协同过滤 协同过 ...
分类：
其他好文 时间：
2019-08-22 13:21:29
阅读次数：
322
