跳至主要内容

AWS 解决方案库

有关在 Amazon S3 Glacier 中自动删除文件库存档的指南

概览

本指南将介绍如何自动执行与删除 Amazon S3 Glacier 文件库中存储的数据相关的复杂重复任务。它将执行下载 S3 Glacier 文件库清单和清空存档文件库的整个过程。 然后下载清单,将其拆分成更小的区块,对于每个区块,解决方案会提交多个并发请求,以删除列表中的所有存档。 成功删除所有存档之后,即可通过一个单独的流程删除 S3 Glacier 文件库本身。这种自动化方法可以帮助简化数据删除工作流、降低人为错误的风险,还有助于确保定期、正确维护 S3 Glacier 文件库。

工作原理

这些技术细节包含一张架构图,用于说明如何有效使用本解决方案。该架构图展示了关键组件及其相互作用,并逐步概述了架构的结构和功能。

Well-Architected 支柱

上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。

CloudFormationStep FunctionsLambdaAmazon SNS 提供的详细部署和工作流状态信息有助于识别潜在问题,并包括便于分析根本原因的详细消息。例如,CloudFormation 支持部署和查看所创建的全部资源,从而允许跟踪它们的部署状态。Step Functions 使您能够查看工作流的各个步骤,因此可以跟踪 Lambda 函数调用以及流程的整体性能和状态。Lambda 还将调用和其他操作事件写入亚马逊 CloudWatch 日志,而亚马逊 SN S 则通过电子邮件将工作流程的状态通知用户。

阅读卓越运营白皮书

AWS 身份和访问管理 (IAM) 的范围是提供本指南各部分所需的最低权限。 IAM 旨在实现对 AWS 资源及其相关操作的精细访问控制。例如,每个 Lambda 函数仅被授予执行它们的指定任务所需的权限。本指南中使用 IAM 实现这一级别的精细访问控制。

阅读安全白皮书

之所以选择 AWS 服务,是因为它们能够满足本指南的特定要求,例如错误处理、可扩展性、消息传输和数据存储。例如,Ste p Function s 的使用归因于其强大的错误处理能力,使其能够管理限制、 AWS 软件开发套件 (AWS SDK)、服务错误和超时错误。之所以使用 Lambda 函数,是因为它们具有可扩展性和高可用性特征。此外,还使用 Amazon SNS 可靠地向 Lambda 服务传输消息,从而调用必要的函数。最后,Amazon S3 提供了高性能、可靠、耐用的存储。

阅读可靠性白皮书

所选的服务允许本指南使用真正的无服务器基础设施优化性能并大规模运营。具体而言,使用 Step Functions 分布式地图编排任务(例如 Lambda 函数)的并行执行。在 Lambda 函数内运行的 AWS SDK 支持处理多个并行 API 请求,而 Athena 可使用简单的 SQL 查询大规模查询和处理大量数据。

此外,Amazon S3 提供了高性能、可扩展的对象存储,以访问所下载的 S3 Glacier 文件库清单。这些 AWS 服务的集体功能使本指南能够快速高效地实现其清空 S3 Glacier 保管库的预期功能,而无需预置和管理大规模的亚马逊弹性计算云 (Amazon EC2) 实例或开发自定义的复杂脚本。

阅读性能效率白皮书

Amazon S3S3 Glacier 文件库清单提供了可靠、经济实惠的存储,并能够支持生命周期规则以使未使用的数据过期。此外,Step Functions 提供了一种无服务器且经济实惠的工作流机制以编排任务,而 Lambda 提供了可扩展的无服务器计算。

Athena 无需使用昂贵的计算资源即可查询和拆分大型数据集,而 Amazon SNS 以经济实惠的方式向订阅用户发布消息。

这些 AWS 服务共同提供了一个全面的无服务器框架,用于管理高效地清空和删除 S3 Glacier 文件库时所需的经济实惠的存储、工作流编排、计算扩展和数据处理。

阅读成本优化白皮书

通过将 Amazon S3LambdaAmazon SNSStep Functions 结合使用,本指南可以在配置之后持续提供数据生命周期管理、无服务器编排、消息传输和计算资源,以支持工作流。这意味着,Amazon S3 具有生命周期管理功能,可自动使被视为不再需要的数据过期。此外,Lambda 是一项事件驱动型计算服务,仅在需要时对其进行预置和分配,因此可优化能耗。LambdaStep Functions 共同提供无服务器编排和计算资源,以便以可持续的方式按需执行代码。最后,Amazon SNS 提供了无服务器消息服务,以促进应用程序与其订阅用户之间的通信。

阅读可持续发展白皮书

免责声明

示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。

找到今天要查找的内容了吗?

请提供您的意见,以便帮助我们提高页面内容的质量