跳至主要内容

AWS HPC

  • 分析
  • 与合作伙伴合作

Elastic Fabric Adapter

大规模运行 HPC 和 ML 应用程序

Elastic Fabric Adapter(EFA)

Elastic Fabric Adapter(EFA)是 Amazon EC2 实例的网络接口,使客户能够在 AWS 上大规模运行需要高级别节点间通信的应用程序。它的定制操作系统 (OS) 旁路硬件接口增强了实例间通信的性能,这对于扩展这些应用程序至关重要。借助 EFA,使用消息传递接口 (MPI) 的高性能计算 (HPC) 应用程序和使用 NVIDIA 多节点协同通信库 (NCCL) 的 Machine Learning (ML) 应用程序可以扩展到数千个 CPU 或 GPU。因此,您可以通过 AWS 云的按需弹性和灵活性获得本地 HPC 集群的应用程序性能。

EFA 作为可选的 EC2 联网功能提供,您可以在任何支持的 EC2 实例上免费启用此功能。此外,EFA 可与用于节点间通信的最常用接口、API 和库配合使用,因此只需稍作修改或无需修改,即可将 HPC 应用程序迁移到 AWS。

EFA 性能

如上图所示,在标准 CFD 模拟中,EFA 提供的扩展比 ENA 提高 4 倍。

Metacomp Technologies 提供该基准的求解器

AWS Customer CFD Direct

AWS Customer CFD Direct 维护广受欢迎的面向计算流体动力学的 OpenFOAM 平台,同时生产 CFD Direct From the Cloud(CFDDFC),这是一款 AWS Marketplace 产品,可让您轻松在 AWS 上运行 OpenFOAM。该团队一直在测试和基准化 EFA,最近在一篇名为 OpenFOAM HPC with AWS EFA 的博客文章中分享了他们的测量结果。在此文章中,团队们报告对汽车周围外部空气动力学的模拟。这种模拟以超线性方式扩展到 200 多个内核,并且在 1000 个内核时逐渐下降以线性扩展(每个内核大约 100 万个模拟单元)。

工作原理

Missing alt text value

资源

现已推出 — 适用于紧密耦合 HPC 工作负载的 Elastic Fabric Adapter(EFA)

2019 年 4 月 29 日

AWS re:Invent 2018:在带有 Elastic Fabric Adapter 的 EC2 上扩展 HPC 应用程序

在此次 reInvent 2018 技术讲座中,我们将介绍 Elastic Fabric Adapter 并讨论 EFA 如何增强 Amazon EC2 中的实例间网络

深入了解 OpenMPI 和 Elastic Fabric Adapter(EFA)

在本次技术讲座中,我们将深入探讨 OpenMPI 及其对 Amazon EC2 EFA 的具体支持,并向您展示如何充分利用您的代码,以及如何架构解决方案以提高性能。

开始使用 Elastic Fabric Adapter(EFA)

在本教程中,您将创建启用 EFA 的 AMI 和启用 EFA 的安全组,然后使用该 AMI 和安全组将启用 EFA 的实例启动到集群置放群组中。