pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者 也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是 最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方 文档。 同时作者提出的Conti ...
分类：
其他好文 时间：
2019-06-12 10:41:46
阅读次数：
244
1.前期知识储备 在线数据迁移，是指将正在提供线上服务的数据，从一个地方迁移到另一个地方，整个迁移过程中要求不停机，服务不受影响。根据数据所处层次，可以分为cache迁移和存储迁移；根据数据迁移前后的变化，又可以分为平移和转移。 平移是指迁移前后数据组织形式不变。比如Mysql从1个实例扩展为4个实 ...
分类：
其他好文 时间：
2019-06-11 10:51:36
阅读次数：
96
Linux 1、Linux：存在几十个文件系统类型：ext2，ext3，ext4，xfs，brtfs，zfs（man 5 fs可以取得全部文件系统的介绍） 不同文件系统采用不同的方法来管理磁盘空间，各有优劣；文件系统是具体到分区的，所以格式化针对的是分区，分区格式化是指采用指定的文件系统类型对分区空 ...
分类：
Web程序 时间：
2019-06-08 19:09:28
阅读次数：
176
COS 迁移 SQL Server 数据 操作场景云数据库 sql server 支持用户通过 cos 文件来进行数据迁移。 注意： 迁移之前需保证目的实例的 sql server 版本不低于源实例的版本。 迁移的 bak 文件需保证每个 bak 文件只包含一个库。 迁移库不能与云 sql serv ...
分类：
数据库 时间：
2019-06-05 09:25:32
阅读次数：
133
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
在Windows10中创建用户qq，在D盘创建共享文件夹share,设置NTFS权限qq用户权限仅具有读的权限，共享权限qq用户为更改，通过网络用qq用户访问共享文件夹验证最终有效权限。1在PC-1机中新建共享文件夹，共享名为“share”2在PC-1中创建新用户qq，设置用户qq权限仅有读的权限。3右键点击“新建文件夹”属性，进入安全→编辑→添加对象→添加qq用户，点击确认。4在安全选项下，点击
分类：
Web程序 时间：
2019-06-03 09:18:56
阅读次数：
211
第一步让我们来看看我们的大量数据的excel 文件好的下面第二步看一下代码：package com.chinait.utils; / 写这个东西主要是最近做了一个联通的数据迁移工作，他们就是这样导出的数据，所以我们写了这个代码。 还有一个就是网上n 多都是半成品，代码不能直接运行，我这个代码能够直接 ...
分类：
编程语言 时间：
2019-05-27 17:52:34
阅读次数：
333
<! flowchart 箭头图标 勿删 docker基本操作 一、简介 Docker 和传统虚拟化方式的不同之处。传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；而容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。因此容 ...
分类：
其他好文 时间：
2019-05-27 15:12:23
阅读次数：
107
1：Sqoop概述 1）官网 http://sqoop.apache.org/ 2）场景 传统型缺点，分布式存储。把传统型数据库数据迁移。 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 2：Sqoop安装部署 1 ...
分类：
其他好文 时间：
2019-05-26 00:22:46
阅读次数：
89
