原文:《BI项目笔记》增量ETL数据抽取的策略及方法 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到； ...
分类：
其他好文 时间：
2016-10-09 13:35:34
阅读次数：
122
【主从复制】 一、 redis的复制 <!--more--> ## redis2.8版本后的复制机制，是采用增量复制的 ##复制过程：同步（全量or增量）——命令传播 1、同步流程： 2、全量同步过程： 3、增量同步过程： 【哨兵机制】 简介 sentinel是redis高可用的解决方案，senti ...
分类：
其他好文 时间：
2016-10-03 12:32:28
阅读次数：
276
脚本功能使用该脚本完成SOA工程的全量更新、增量更新、全量回滚等操作。自动部署流程3.脚本代码#!/usr/bin/python
#coding=utf-8
importsys,os,re,time,commands,logging
work_dir=‘/data/company/soa‘
package_dir=‘/data/package/soa‘
update_file_path=‘/data/update/‘
chec..
分类：
其他好文 时间：
2016-10-01 06:43:26
阅读次数：
363
【直播】APP全量混淆和瘦身技术揭秘 近些年来移动APP数量呈现爆炸式的增长，黑产也从原来的PC端转移到了移动端，通过逆向手段造成数据泄漏、源码被盗、APP被山寨、破解后注入病毒或广告现象让用户苦不堪言。 为了解决安卓APP容易被逆向的问题，除了对产品进行加固处理，代码混淆技术是对抗逆向攻击最有效的 ...
分类：
移动开发 时间：
2016-09-23 14:49:44
阅读次数：
209
一、简介rsync一款开源的，快速的，多功能可实现全量及增量的本地或者远程数据同步备份的优秀工具可适用于多个操作系统之上，rsync具有可以使本地和远程两台主机之间的数据快速的同步和备份的用能。二、工作模式及其特性1.rsync特性支持拷贝特殊文件如链接文件设备等可以有排除..
分类：
其他好文 时间：
2016-09-21 16:10:17
阅读次数：
145
一、概述 Redis的主从复制策略是通过其持久化的rdb文件来实现的，其过程是先dump出rdb文件，将rdb文件全量传输给slave，然后再将dump后的操作实时同步到slave中。让从服务器(slave server)成为主服务器(master server)的精确复制品。 以下是关于 Redi... ...
分类：
其他好文 时间：
2016-09-15 00:57:53
阅读次数：
205
dubbo 潘多拉容器 edas jenkins自动部署 tddl 读写分离 drds 垂直拆分 拆库 全量更新 水平拆分 拆表 从业务角度来拆分 三.MQ消息队列 消息中间介 订阅 、缓存、 比喻成巨大的变压器 阿里技术发展史 同步发送 一定要等 异步发送 日志 、监测数据 事务消息顺序消息(全局 ...
分类：
其他好文 时间：
2016-09-10 17:48:48
阅读次数：
139
本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上 ...
分类：
其他好文 时间：
2016-09-08 16:00:36
阅读次数：
177
一、总结 二、BUG描述：else逻辑未补全，倒置查询数据泄露 在查询筛选参数的时候，有如下逻辑： 由于未补全orderIds为空的逻辑，导致没有把参数传入，因此全量数据被查询了出来。因此要补全else情况，插入“-1”，做为查询条件。但这里同时要注意，如果数据库中该字段是无符号整型，那么就不可以这 ...
分类：
其他好文 时间：
2016-08-31 11:52:40
阅读次数：
174
介绍一下环境： MySQL：5.6.19 安装路径：/u01/mysql 数据文件：/u01/mysql/data 备份源：/u02/backup 我是异机恢复，和本机操作一样。 一、 全量备份 步骤： ./innobackupex --user=root --password=root --hos ...
分类：
其他好文 时间：
2016-08-30 17:38:16
阅读次数：
169
