今天在对数据迁移的时候遇到一坑，这个坑之前也是遇到过，在Google之后解决了，今天又遇到了，不知道怎么处理了，又开始搜索，最终解决。特此记录 ...
分类：
数据库 时间：
2020-05-19 10:30:19
阅读次数：
99
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！ 我们使用到的是第三方作者开发的 爬虫 库 weiboSpider（有 工具 当然要 ...
分类：
编程语言 时间：
2020-05-18 14:29:57
阅读次数：
237
摘要 在上一篇中我们介绍了 "数据迁移的套路" ，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 1. 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 2. 迁移qps可控 迁移有可能对线上服务有影响，需要 ...
分类：
其他好文 时间：
2020-05-17 21:44:10
阅读次数：
76
部署KVM虚拟化平台一、搭建KVM虚拟化平台1、前置知识点(1)什么是虚拟化 把硬件资源从物理方式转变为逻辑方式，打破原有物理结构，使用户可以灵活管理这些资源，并且允许1台物理机上同时运行多个操作系统，以实现资源利用率最大化和灵活管理的技术(2)虚拟化层①X86平台指令集划分为4个特权模式：ring ...
分类：
其他好文 时间：
2020-05-16 20:30:20
阅读次数：
87
背景 最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路， 控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了 多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。 迁移方案 迁移的基本思路是写转换 ...
分类：
其他好文 时间：
2020-05-16 00:38:30
阅读次数：
281
任务：从es集群a,b,c 。。。把数据迁移到新es集群d,e,f 迁移数据只是复制 需要额外3台服务器，分别部署新es集群d,e,f 和 单点logstash是迁移通道 和 kibana查询工具 （集群es复制到单点es，没试过，改天试一下） 具体部署步骤可以自行百度 或者 看我之前的随笔 主要是 ...
分类：
其他好文 时间：
2020-05-13 19:52:47
阅读次数：
157
很多人认为数据恢复是一项很高深的技术，尤其raid磁盘阵列数据恢复更为复杂。其实不然，只要我们了raid磁盘阵列的工作原理，那么我们就可以轻松的分析出损坏的阵列信息，从而恢复磁盘阵列的数据。今天为大家介绍的就是raid5磁盘阵列故障后的数据恢复方法。
分类：
其他好文 时间：
2020-05-11 20:33:34
阅读次数：
504
需求： 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层，业务系统使用的是SqlServer数据库，数据仓库的缓冲层使用的是mysql数据库，为实现数据库的迁移，即将SqlServer数据库中的所有表与数据迁移到Mysql。 解决办法一：利用kettle的复制多表复制向导 过程如下: 1、选 ...
分类：
数据库 时间：
2020-05-09 19:11:54
阅读次数：
156
Centreon涉及的部件似乎很多，按照常规的思路，如果要把配置和数据迁移到别的地方（比如换新机器），感觉上应该是比较麻烦的。大致考虑一下，就应该包含apache、php、centreon-engine、centreon-broker、数据库等各种配置。如果一个个的备份导出再导入，很累而且可能遗漏。不想这么干，于是就思量，能不能更简单一些呢？原理上讲，centreon与其它的机制有很大的不同，就是
分类：
其他好文 时间：
2020-05-08 10:08:28
阅读次数：
69
一面： hashmap，怎么扩容，怎么处理数据冲突？怎么高效率的实现数据迁移？ Linux的共享内存如何实现，大概说了一下。 socket网络编程，说一下TCP的三次握手和四次挥手 同步IO和异步IO的区别？ Java GC机制？GC Roots有哪些？ 红黑树讲一下，五个特性，插入删除操作,时间复 ...
分类：
编程语言 时间：
2020-05-06 14:10:59
阅读次数：
134
