标签：one with 参考 分段 前缀 创建 disabled checked str
通过aws-data-replication-hub实现S3中国区域和全球区域复制
参考链接：https://github.com/awslabs/aws-data-replication-hub
AWS Data Replication Hub是一个开源的AWS跨区域跨账号数据复制工具，支持一键部署，图形化配置。目前支持AWS S3和ECR，并且支持S3多线程上传、分段上传。
1. 场景
通过Data Replication Hub将AWS新加坡区域的S3存储桶复制到AWS宁夏区域的S3存储桶，并支持新增数据增量复制。
源端：AWS新加坡Region
目标端：AWS中国宁夏Region
2. 安装部署
1）直接使用以下cloudformation模版一键部署
2）填写管理员邮箱，安装完成后会收到一封初始密码的邮件
3) 其他保持默认即可，点击创建堆栈
4) 大概15分钟完成创建，CloudFormation会创建ECS、Lamdba等资源
3. 登录Data Replicaiton Hub的portal
1）在CloudFormation的输出中找到PortalURL
2）使用邮箱和初始密码登录
4. 创建密钥
在创建复制任务之前需要在AWS System Manger的参数仓库中创建密钥参数，后续复制任务需要使用
本次测试Data Replication Hub部署在源端账号，所以不需要创建源端密钥，仅创建目标端密钥
按下图填写配置即可，“值”中填写密钥信息如下
{
"access_key_id": "<Your Access Key ID>",
"secret_access_key": "<Your Access Key Secret>",
"region_name": "<Your Region>"
}
5. 创建复制任务
1）选择Amazon S3，点击下一步
2）引擎选择Amazon S3
3）数据源类型选择Amazon S3
4） 数据源设置
数据桶名称：填写源端存储桶名称
数据桶对象前缀- 可选：根据需求填写
源数据桶在当前账户吗?：我的Data Replicaiton Hub部署在源端账号，所以选Yes
是否启用S3事件?：支持No、Create Only、Delete Only、Create and Delete四种选项，表示是否复制新增和删除的数据，我此处选择Create and Delete
5）目标桶设置
数据桶名称：输入目标端存储桶名称
数据桶对象前缀- 可选：根据需求自行选择
存储类型：根据需求自行选择
参数仓库：选择前面SystemManager中创建的参数
区域名称；选择目标端区域，我的目标端在宁夏
6）填写通知邮箱
7）完成创建任务
6. 配置完成后，会在aws创建相关的ECR、Lambda、SQS、CloudWatch资源，并且可在CloudWathc中查看监控和日志，可实现aws global存储桶到aws china存储桶到复制，可以复制现有数据和新增数据。
通过AWS Data Replication Hub实现AWS中国区域和全球区域之间的S3复制
标签：one with 参考 分段 前缀 创建 disabled checked str
原文地址：https://www.cnblogs.com/shenlei/p/14311828.html
