亚马逊AWS官方博客
S3 复制更新:复制 SLA、指标和事件
S3 跨区域复制自 2015 年初以来就已经存在(新的针对 Amazon S3 的跨区域复制 ),而同区域复制已经存在了几个月。
复制非常容易设置,并允许您使用规则,指定要将对象从一个 S3 存储桶复制到另一个 S3 存储桶。规则可以指定整个存储桶的复制,或基于前缀或标记的子集复制:
您可以使用复制在 AWS 区域之内或之间复制关键数据,以满足灾难恢复计划中地理冗余或其他操作原因方面的法规要求。您可以在一个区域内复制以汇总日志,设置测试和开发环境以及满足合规性要求。
S3 的复制功能已得到充分利用:自 2015 年推出以来,我们的客户已复制了数万亿个对象和数艾字节的数据! 今天,我很高兴地告诉您,通过添加“复制时间控制”,我们使其功能更加强大。此功能建立在现有规则驱动复制的基础上,并为您提供基于标签或前缀的精细化控制,从而使您可以对指定的数据集使用复制时间控制。其功能如下:
复制 SLA – 现在,您可以利用复制 SLA 来提高复制时间的可预测性。
复制指标 – 现在,您可以使用新的 CloudWatch 指标监视每个规则的最大复制时间。
复制事件 – 现在,您可以使用事件来跟踪任何偏离 SLA 的对象复制。
下面我们来看详细内容!
新复制 SLA
S3 将对象复制到目标存储桶,其时间受对象大小和数量、可用带宽、存储桶的其他流量等因素影响。在需要加强对复制时间控制的情况下,可以使用新的“复制时间控制”功能,该功能旨在执行以下操作:
- 大多数对象将在几秒钟内被复制。
- 99% 的对象将在 5 分钟内被复制。
- 99.99% 的对象将在 15分钟 内被复制。
启用此功能后,您将从相关的服务等级协议中获益。SLA 表示 15 分钟内预期复制的对象百分比,如果未达到 SLA,则提供计费抵扣:
- 99.9% 至 98.0% – 10% 抵扣
- 98.0% 至 95.0% – 25% 抵扣
- 95% 至 0% – 100% 抵扣
计费抵扣适用于计费时段内目标中复制时间控制费、复制数据传输、S3 请求和 S3 存储费用的百分比。
创建新的复制规则时,可以启用复制时间控制,也可以将其添加到现有规则中:
创建或更新规则后,复制立即开始。可以使用复制指标和复制事件来监视合规性。
除了现有的 S3 请求和区域之间的数据传输费用外,您还需要支付额外的每 GB 费用才能使用复制时间控制;有关更多信息,请参见 S3 定价页面。
复制指标
每次我为规则启用“复制时间控制”时,S3 都会开始向 CloudWatch 发布三个新指标。它们在 S3 和 CloudWatch 控制台中可用:
我创建了一些大的 tar 文件,并将它们上传到我的源存储桶中。我休息了一下,然后检查了指标。请注意,我是在发布之前进行测试的,所以不要过分担心实际数字。另外,请记住,这些指标是在整个复制过程中汇总显示的,所以不能精确表示每个对象的 SLA 合规性。
BytesPendingReplication 在上传后立即跳升,然后在复制时下降:
S3 复制从美国到澳大利亚的传输超过37 GB,最大延迟为 8.3 分钟,之后ReplicationLatency 达到峰值,然后迅速降至零。
OperationsPendingCount 跟踪要复制的对象数:
我还可以在指标上设置 CloudWatch 警报。例如,我可能想知道复制积压是否大于 75 GB(为使其按预期工作,我必须将丢失数据处理设置为将丢失数据视为忽略(保持警报状态):
这些指标记按 CloudWatch 自定义指标计费。
复制事件
最后,您可以通过在 SQS 队列、SNS主题或 Lambda 函数上设置事件来跟踪复制问题。从控制台的事件部分开始:
您可以使用这些事件来监视对 SLA 的遵守情况。例如,您可以将复制时间未达到阈值和阈值后完成的复制时间存储在数据库中,以跟踪长于预期的复制时间。第一个事件将告诉您复制运行较晚,而第二个事件将告诉您复制已完成以及延迟的时间。
要了解更多信息,请阅读复制。
现已推出
您可以立即在所有商业 AWS 区域(除了 AWS 中国(北京)和 AWS 中国(宁夏)区域)中开始使用这些功能。
— Jeff;
附言 – 如果您想了解有关 S3 如何工作的更多信息,请务必参加 re:Invent大会:超越 11 个 9:Amazon S3 持久性文化的经验教训。