概览
将数据从 Amazon S3 Glacier 保管库传输到 Amazon S3可将存储在 Amazon Simple Storage Service Glacier(Amazon S3 Glacier)保管库中的档案恢复、复制和传输到所选 S3 存储桶和存储类,包括 S3 Glacier 存储类。此 AWS 解决方案通过自动化传输过程简化数据的使用,让访问归档数据变得更加方便和经济实惠。
注意:
Amazon S3 Glacier 存储类(包括 Glacier Deep Archive、Glacier Flexible Retrieval 和 Glacier Instant Retrieval)与 S3 存储类不同。访问此网页,了解有关这些存储类的更多信息。
优势
自动化可以节省时间并最大限度减少数据传输过程中出现人为错误的可能性,帮助确保更可靠和更一致的操作。
将数据从 Amazon S3 Glacier 保管库传输到 S3 存储桶可简化数据分析和利用。应用程序和分析工具更快速访问数据,而无需长时间等待数据恢复。
Amazon S3 存储类允许标记和更快速访问数据。标记的优势包括数据分类、精细的访问控制、生命周期管理和成本分配。
对于很少访问的数据,与 S3 Glacier 保管库相比,Amazon S3 Glacier Deep Archive 存储类可以在 AWS 美国东部(俄亥俄州)区域节省近 75% 的存储成本。
技术详情
您可以使用实施指南和随附的 AWS CloudFormation 模板自动部署该架构。
第 1 步
使用 AWS Systems Manager 文档(SSM 文档)调用传输工作流程。
第 2 步
SSM 文档开始 AWS Step Functions Orchestrator 工作流。
第 3 步
Step Functions Orchestrator 工作流启动嵌套的 Step Functions Get Inventory 工作流程,以检索清单文件。
第 4 步
清单检索完成后,该解决方案会调用 Initiate Retrieval 嵌套的 Step Functions 工作流程。
第 5 步
作业准备就绪后,Amazon S3 Glacier 会向 Amazon Simple Notification Service(Amazon SNS)主题发送通知,表明作业已完成。
第 6 步
该解决方案将所有作业完成通知存储在 Amazon Simple Queue Service(Amazon SQS)Notifications 队列中。
第 7 步
归档作业准备就绪后,Amazon SQS Notifications 队列会调用 AWS Lambda Notifications Processor 函数。此 Lambda 函数为档案检索准备初始步骤。
第 8 步
Lambda Notifications Processor 函数将区块检索消息放在 Amazon SQS Chunks Retrieval 队列中进行区块处理。
第 9 步
Amazon SQS Chunks Retrieval 队列调用 Lambda Chunk Retrieval 函数处理每个区块。
第 10 步
Lambda Chunk Retrieval 函数从 Amazon S3 Glacier 保管库下载区块。
第 11 步
Lambda Chunk Retrieval 函数将分段上传的片段上传到 Amazon Simple Storage Service(Amazon S3)。
第 12 步
下载新区块后,该解决方案将区块元数据存储在 Amazon DynamoDB 中(etag、checksum_sha_256、tree_checksum)。
第 13 步
Lambda Chunk Retrieval 函数验证该档案的所有区块是否都已处理。如果是,该函数会在 Amazon SQS Validation 队列中插入一个事件以调用 Lambda Validate 函数。
第 14 步
Lambda Validate 函数执行完整性检查,然后关闭 Amazon S3 分段上传。
第 15 步
DynamoDB 流调用 Lambda Metrics Processor 函数来更新 DynamoDB 中的传输过程指标。
第 16 步
Step Functions Orchestrator 工作流进入异步等待状态,暂停直到档案检索工作流程结束,然后再启动 Step Functions Cleanup 工作流程。
第 17 步
DynamoDB 流调用 Lambda Async Facilitator 函数,该函数可在 Step Functions 中解锁异步等待。
第 18 步
Amazon EventBridge 规则定期启动 Step Functions 扩展下载窗口和更新 Amazon CloudWatch 控制面板工作流。
第 19 步
使用 CloudWatch 控制面板监控传输进度。