跳至主要内容

AWS 解决方案库

  • AWS 解决方案库
  • 使用 Amazon SageMaker HyperPod 训练蛋白质语言模型(ESM-2)的指南

使用 Amazon SageMaker HyperPod 训练蛋白质语言模型(ESM-2)的指南

概述

本指南演示了如何使用 AWS SageMaker HyperPod 的托管平台简化并加速复杂蛋白质折叠人工智能模型的训练流程。通过利用 NVIDIA GPU 和自动化集群预置功能,研究人员可大幅简化 ESM-2 等生成式人工智能模型的分布式训练过程。该解决方案解决了生命科学领域高性能计算中的核心挑战,可大规模实现高效的模型定制和部署。这种方式能帮助研究团队在充分利用计算资源的同时降低运维复杂性,最终加速蛋白质研究与药物研发领域的突破性发现。

优势

通过预先配置的 HyperPod 集群简化 ESM-2 模型训练流程,这些集群可以自动处理分布式计算需求。通过自动化基础设施部署,在缩短产品上市时间的同时,保持卓越运维。

通过灵活训练计划和按需容量预留来预留计算容量,实现可预测定价。通过托管基础设施高效扩展机器学习训练资源,同时保持成本优化。

通过功能全面的可观测性工具获取实时指标,从而监控训练进度。通过统一的控制面板跟踪集群运行状况和性能指标,同时保持卓越运维。

工作原理

使用 SLURM 编排工具部署 SageMaker HyperPod 集群

此参考架构演示了如何部署基于 HPC(SLURM)编排工具的 Amazon SageMaker AI HyperPod 集群。

Missing alt text value

在 Hyperpod-SLURM 集群上运行蛋白质语言模型分布式训练工作负载

此参考架构演示了如何在基于 SLURM 的 HyperPod 集群上运行分布式 ESM-2 模型训练作业。

Missing alt text value

使用 Amazon EKS(Kubernetes)编排工具部署 SageMaker HyperPod 集群

此参考架构演示了如何部署基于 Amazon EKS 编排工具的 SageMaker HyperPod 集群。

Missing alt text value

在 Hyperpod-EKS 集群上运行蛋白质语言模型分布式训练工作负载

此参考架构演示了如何在基于 Amazon EKS 的 HyperPod 集群上运行分布式 ESM-2 训练作业。

Missing alt text value

自信地进行部署

我们将引导你完成

深入阅读实施指南,了解其他自定义选项和服务配置,以根据您的特定需求量身定制配置。

开放式指南

让我们来实现它

为部署做好准备了吗? 查看 GitHub 上的示例代码,了解详细的部署说明,以根据需要按原样部署或进行自定义部署。 

访问示例代码

免责声明

示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。

找到今天要查找的内容了吗?

请提供您的意见,以便我们改进网页内容的质量。