利用binlog日志恢复数据库误操作数据 在人工手动进行一些数据库写操作的时候（比方说数据修改），尤其是一些不可控的批量更新或删除，通常都建议备份后操作。不过不怕万一，就怕一万，有备无患总是好的。在线上或者测试环境误操作导致数据被删除或者更新后，想要恢复，一般有两种方法。 方法一、利用最近的全量备份 ...
分类：
数据库 时间：
2018-03-21 17:30:26
阅读次数：
238
基本概念 全量备份：某个时间点的所有数据进行一个完全的备份 差异备份（也叫差量备份）：差异备份"是对上一次"全量备份"以后变化的数据的备份， 增量备份：对上一次"备份"以后变化的数据的备份 时间点恢复：数据备份文件以及二进制日志文件 热备：mysql中的myisam存储引擎不支持热备，InnoDB存 ...
分类：
数据库 时间：
2018-03-16 23:06:18
阅读次数：
175
1.全量备份与增量备份 1.1 全量备份 全量数据就是数据库中所有的数据，全量备份就是把数据库中所有的数据进行备份。 备份所有库：mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B –A gzip >/server/backup/mysq... ...
分类：
数据库 时间：
2018-03-13 23:57:43
阅读次数：
579
Mirror是专为金融行业设计的全面用户画像管理系统。该系统基于星环多年来为多个金融企业客户构建用户画像的经验，深入契合业务需求，实现对用户全方位全维度的刻画。Mirror内置银行业和证券业的用户画像模板，同时在技术上继承了Transwarp Data Hub大数据平台的优势，能够快速在全量数据上进... ...
分类：
其他好文 时间：
2018-03-09 21:20:46
阅读次数：
1790
现实工作中会有多个数据源同步到一个数据库完成数据分析的场景，这些数据可以不是实时同步的，我们一般通过定时任务抽取数据到统计分析库给应用使用。 一般的同步方式可以通过时间戳做全量和增量数据同步（存在原数据变化可能，数据不一致的情况），也可以通过dblink做数据实时查询（较损耗线上数据库性能），一般最 ...
分类：
数据库 时间：
2018-02-28 19:44:36
阅读次数：
270
和MySQL主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，下图为级联结构。 Redis主从复制可以根据是否是全量分为全量同步和增量同步。 1 全量同步 Redis全量 ...
分类：
其他好文 时间：
2018-02-28 12:00:05
阅读次数：
137
Reids复制数据主要有2种场景： 1. 从服务器从来第一次和当前主服务器连接，即初次复制 2. 从服务器断线后重新和之前连接的主服务器恢复连接，即断线后重复制 对于初次复制来说使用SYNC命令进行全量复制是合适高效的，但是对于断线后重复制来说效率就不太能接受了。举例来说： 如图所示，Master在 ...
分类：
其他好文 时间：
2018-02-28 11:57:28
阅读次数：
210
1.全量备份 简单的说就是将所有数据库或一个库全部备份。2.增量备份 从上一次全量备份之后到下一次全量备份之前都叫做增量备份。对于mysql，binlong日志就是mysql数据，对binlong的备份就是对mysql的备份。备份的时候要锁表，影响用户体验，所以备份的频率各有优缺点。mysql
分类：
数据库 时间：
2018-02-25 15:48:01
阅读次数：
165
rsync是一个开源、快速的、多动能的、可以实现全量，增量的本地或远程数据同步备份工具，它适用于多种操作系统平台。 1、rsync的特性（功能） （1）支持拷贝特殊文件（如链接文件、设备文件） （2）拷贝时可以排除目录中目录或文件不需要同步的功能 （3）可以保持源文件或目录的属性不发生改变 （4）可 ...
分类：
系统相关 时间：
2018-02-24 23:09:35
阅读次数：
584
主要知识点 1、什么是partial update（部分修改） 2、partial update的语法 3、在es内部partial update的实现过程 4、partial update优点 一、PUT /index/type/id 这种语法会创建文档或者全量替换文档，一般对应到应用程序中，每次 ...
分类：
其他好文 时间：
2018-02-23 22:13:02
阅读次数：
184
