亚马逊AWS官方博客

新增功能 – 使用 Amazon S3 批量复制功能复制现有对象

从今天开始,您可以复制现有的 Amazon Simple Storage Service (Amazon S3) 对象,并使用新的 Amazon S3 批量复制功能同步存储桶。

Amazon S3 复制支持多种客户使用场景。例如,您可以使用它来最大限度地减少延迟,方法是将数据副本保存在离用户更近的 AWS 区域中,从而满足合规性和数据主权要求,并为灾难恢复规划形成额外的弹性。S3 复制是一项完全托管式低成本功能,可在存储桶之间复制新上载的对象。存储桶可以属于相同或不同的账户。对象可以复制到单个目标存储桶或多个目标存储桶。目标存储桶可以位于不同的 AWS 区域(跨区域复制),也可以位于与源存储桶相同的区域(同区域复制)。

复制流程

但截至目前,S3 复制还无法复制现有对象;现在您可以使用 S3 批量复制来实现这一目标。

客户想要复制现有对象的原因有很多。例如,客户可能希望将其数据复制到新的 AWS 区域以进行灾难恢复设置。为此,他们需要使用现有数据填充新的目标存储桶。复制现有数据的另一个原因源于正在进行全球扩张的企业。例如,假设一家总部位于美国的动画公司现在在新加坡开设了一家新工作室。为了减少员工的延迟,他们需要将所有内部文件和正在处理的媒体文件复制到亚太地区(新加坡)区域。我们看到的另一个常见使用场景是,正在进行并购的客户需要将现有数据的所有权从一个 AWS 账户转移到另一个 AWS 账户。

为了在存储桶之间复制现有对象,客户最后会创建复杂的流程。此外,在存储桶之间复制对象不会保留对象的元数据,例如版本 ID 和对象创建时间。

今天,我们很高兴地推出 S3 批量复制,这是通过 S3 分批操作提供的一项新功能,客户无需开发自己的解决方案以便在存储桶之间复制现有对象。它提供了一种将现有数据从源存储桶复制到一个或多个目标的简单方法。利用此功能,您可以通过单个作业复制任意数量的对象。

何时使用 Amazon S3 批量复制
S3 批量复制可用于:

  • 复制现有对象 — 使用 S3 批量复制复制在配置复制规则之前添加到存储桶中的对象。
  • 复制以前无法复制的对象 — 重新尝试复制以前由于权限不足或其他原因而无法使用 S3 复制规则复制的对象。
  • 复制已复制到其他目标的对象 — 您可能需要将数据的多个副本存储在不同的 AWS 账户或区域中。S3 批量复制可以复制已复制到新目标的对象。
  • 复制根据复制规则创建的对象的副本 — S3 复制在目标存储桶中创建对象的副本。无法使用实时复制再次复制对象的副本。这些副本对象只能通过 S3 批量复制进行复制。

开始使用 S3 批量复制
从 S3 控制台开始使用 S3 批量复制有多种途径。您可以从复制配置页面或分批操作创建作业页面创建作业。当您创建新的复制规则或添加新的目标存储桶时,系统还会提示您复制现有对象。

在本演示中,假设您正在具有现有对象的存储桶中创建复制规则。创建完规则后,系统会显示一条提示消息,询问您是否要复制现有对象。

询问您是否要复制现有对象的提示

如果回答,则系统会将您转至简化的创建分批操作作业页面。如果希望此任务在准备就绪后自动执行,则可以保留默认选项。如果要在运行作业之前查看清单或任务详细信息,请选择在准备就绪后再运行作业

这种创建任务的方法会自动生成要复制的对象的清单。清单是给定源存储桶中用于应用复制规则的对象的列表。生成的清单报告的格式与 Amazon S3 库存报告的格式相同。

创建分批操作任务视图

与其他分批操作任务类似,S3 批量复制会创建一个完成报告,其中包含有关复制任务结果的信息。强烈建议选择此选项并指定存储桶来存储此报告。

完成报告配置

最后一步是配置创建此批处理作业的权限。如果您保留默认设置,Amazon S3 将为您创建一个新的 AWS Identity and Access Management (IAM) 角色。

权限配置

保存此任务后,请在分批操作页面上检查作业的状态。您将看到作业的状态随着任务的进展而发生改变、已复制文件的百分比以及复制失败的文件总数。

请记住,与新对象相比,复制现有对象所需的时间可能更长,而且复制速度在很大程度上取决于 AWS 区域、数据大小、对象数量和加密类型。

任务状态页面

批量复制任务完成后,您可以导航到保存完成报告的存储桶,以查看对象复制的状态。这些报告的格式与 Amazon S3 库存报告的格式相同。

查找报告和清单

定价和可用性
使用此功能时,您需要为跨区域的请求和数据传输、
分批操作支付复制费,以及清单生成费(如果您选择)。

此外,还需要支付将复制的数据存储在目标存储桶中的存储成本,以及如果您是使用 AWS KMS 复制对象,则还需支付 AWS KMS 成本。查看 S3 定价页面上的复制选项卡以了解所有详细信息。

S3 批量复制适用于所有 AWS 区域,包括 AWS GovCloud 区域、由光环新网运营的 AWS 中国(北京)区域和由西云数据运营的 AWS 中国(宁夏)区域。而且,您可以通过 Amazon S3 控制台CLIS3 APIAWS SDK 客户端开始使用。

要了解有关 S3 批量复制的更多信息,请查看 Amazon S3 用户指南

Marcia