摘要 在上一篇中我们介绍了 "数据迁移的套路" ，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 1. 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 2. 迁移qps可控 迁移有可能对线上服务有影响，需要 ...
分类：
其他好文 时间：
2020-05-17 21:44:10
阅读次数：
76
背景 最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路， 控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了 多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。 迁移方案 迁移的基本思路是写转换 ...
分类：
其他好文 时间：
2020-05-16 00:38:30
阅读次数：
281
任务：从es集群a,b,c 。。。把数据迁移到新es集群d,e,f 迁移数据只是复制 需要额外3台服务器，分别部署新es集群d,e,f 和 单点logstash是迁移通道 和 kibana查询工具 （集群es复制到单点es，没试过，改天试一下） 具体部署步骤可以自行百度 或者 看我之前的随笔 主要是 ...
分类：
其他好文 时间：
2020-05-13 19:52:47
阅读次数：
157
需求： 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层，业务系统使用的是SqlServer数据库，数据仓库的缓冲层使用的是mysql数据库，为实现数据库的迁移，即将SqlServer数据库中的所有表与数据迁移到Mysql。 解决办法一：利用kettle的复制多表复制向导 过程如下: 1、选 ...
分类：
数据库 时间：
2020-05-09 19:11:54
阅读次数：
156
Centreon涉及的部件似乎很多，按照常规的思路，如果要把配置和数据迁移到别的地方（比如换新机器），感觉上应该是比较麻烦的。大致考虑一下，就应该包含apache、php、centreon-engine、centreon-broker、数据库等各种配置。如果一个个的备份导出再导入，很累而且可能遗漏。不想这么干，于是就思量，能不能更简单一些呢？原理上讲，centreon与其它的机制有很大的不同，就是
分类：
其他好文 时间：
2020-05-08 10:08:28
阅读次数：
69
一面： hashmap，怎么扩容，怎么处理数据冲突？怎么高效率的实现数据迁移？ Linux的共享内存如何实现，大概说了一下。 socket网络编程，说一下TCP的三次握手和四次挥手 同步IO和异步IO的区别？ Java GC机制？GC Roots有哪些？ 红黑树讲一下，五个特性，插入删除操作,时间复 ...
分类：
编程语言 时间：
2020-05-06 14:10:59
阅读次数：
134
数据迁移的类型 随着业务的发展，存储也会经常性的需要迁移。以下场景是我们开发过程中经常遇到的 1. 业务、团队在快速扩张，需要适当时机进行微服务的拆分，需要独立的数据库，将数据从源数据库迁移到新的数据库 2. 单表的记录数比较大，需要进行分库分表。需要将老表的数据迁移到新的分表中。 3. 存储选型不 ...
分类：
其他好文 时间：
2020-05-04 13:13:58
阅读次数：
129
远程执行不停止 #nohup command & zip分卷合并解压 cat linux.zip* > linux.zip unzip linux.zip zip分卷压缩 zip -qr -s 2G ./dingshang --out b.zip //不显示压缩信息 文件夹压缩 推荐萍乡SEO（优化 ...
分类：
Web程序 时间：
2020-05-02 09:26:11
阅读次数：
105
Oracle12c 存储在线迁移 cspmi08604 2016-02-26 11:00:27 6 收藏 首先是做了data磁盘组所有数据迁移到data01磁盘组中，因为data盘是第一个数据盘组所以 controlfile、spfile和密码文件都在data磁盘组中，所以这些也是要迁移的。 数据迁 ...
分类：
数据库 时间：
2020-04-30 17:29:43
阅读次数：
100
企业数据保护需要备份/恢复功能软件吗？为企业服务器上的磁盘存储增加一重数据防护，防止介质故障。为企业保护备份数据远离外部***，阻止人为擅自修改灾备介质服务器上托管数据，在生产设备数据损坏时，数据可以从灾备介质服务器上迅速找回。为本地虚拟化、私有云平台、和公有云中的数据全面保护，防止意外发生。为对抗勒索病毒感染时，避免企业无法接受的损失。基础架构IaaS保护服务基础架构保护是针对客户基础架构中生产工
分类：
其他好文 时间：
2020-04-29 18:41:13
阅读次数：
75
