本指南介绍了如何利用检查点和恢复功能,提高长期运行的高性能计算 (HPC) 和电子设计自动化 (EDA) 任务的弹性,并降低成本。一些 HPC 和 EDA 任务的执行时间可能非常长,有时持续数小时甚至数天,却没有内置的弹性机制,一旦遇到任何中断,就必须从头再来。尽管这些任务对内存的需求很高,但它们一直未能利用 Amazon Elastic Compute Cloud (Amazon EC2) 竞价型实例的成本效益。借助本指南,AWS 客户就可以采用 MemVerge Memory Machine™ Cloud Edition (MMCE) 代理。MMCE 允许用户在整个任务中设置检查点,并在 Amazon EC2 竞价型实例中断时从最后一个检查点恢复任务,从而提高弹性并降低成本。通过引入这些功能,更多的 EDA 任务受益于 Amazon EC2 竞价型实例带来的成本节省。

注意:[免责声明]

架构图

[架构图描述]

下载架构图 PDF 

Well-Architected 支柱

当您在云中构建系统时,AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool,您可以通过回答每个支柱的一组问题,根据这些最佳实践来检查您的工作负载。

上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。

  • HPC 调度器会监控运行任务的Amazon EC2 实例,在任务中断时启动新实例来替代它,并记录初始实例的故障情况。接着,它会将第一个和第二个实例上花费的时间合并起来,计算出任务的完整运行时间。这样用户就能够观察到中断带来的影响,分为“净”运行时间(实际的 CPU 时间)和 “时钟”时间(从任务提交到完成的总时间)。

    阅读《卓越运营》白皮书 
  • Lambda 函数触发的自动清理旧检查点的功能可以消除不必要的数据存储,从而帮助管理攻击面。

    阅读《安全性》白皮书 
  • Amazon EC2 竞价型实例中断会导致在共享存储卷中创建工作负载状态的检查点。然后,HPC 调度器会检测到故障,并启动新实例来恢复任务。任务不是从零开始重新启动,而是加载检查点,使得工作负载能够从中断的地方继续执行。

    阅读《可靠性》白皮书 
  • 本指南允许客户将其更多的 EDA 和 HPC 工作负载迁移到 Amazon EC2 竞价型实例。使用竞价型实例节省下来的成本,可以帮助客户使用更高性能的计算实例,而这些实例之前的高昂成本可能让客户难以承受。这使客户能够减少工作负载的总体运行时间。

    阅读《性能效率》白皮书 
  • Amazon EC2 竞价型实例让用户能够节省成本,而且没有前期财务承诺或实例类型选择的限制。此外,负责清理过时检查点的 Lambda 函数有助于确保存储成本与当前运行的任务数量相匹配。这样可以有效防止不必要的检查点数据随时间积累。

    阅读《成本优化》白皮书 
  • 本指南通过结合 Amazon EC2 竞价型实例和高性能共享存储服务,实现了用户与 AWS 在可持续发展责任方面的分担,即 AWS 负责提供底层基础设施并考虑其环境影响,而用户则可以专注于优化工作负载。通过量化使用 Amazon EC2 竞价型实例和优化存储的性能和成本效益,用户可以更好地了解其工作负载对环境的影响。此外,Amazon EC2 竞价型实例有助于最大限度地利用 AWS 计算资源,减少总体资源消耗和对下游环境的影响。最终,检查点和恢复功能的集成,加之高性能共享存储的运用,使得工作负载可以从检查点恢复,这最大限度地减少了从头开始重新运行任务的需求,进而减少了总体资源的消耗。

    阅读《可持续性》白皮书 
博客

使用 EC2 竞价型实例最多可节省 90% 的费用,即使是长时间运行的 HPC 任务也是如此

这篇博客文章演示了如何使用 EC2 竞价型实例优化 HPC 计算成本。

免责声明

示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。

本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指导是一个技术起点,您可以在部署架构时自定义与第三方服务的集成。

此页内容对您是否有帮助?