Amazon EC2 G5 实例

的基于 GPU 的高性能实例,适用于图形密集型应用程序和机器学习推理

Amazon EC2 G5 实例是基于 NVIDIA GPU 的最新一代实例,可用于各种图形密集型和机器学习使用案例。 与 Amazon EC2 G4dn 实例相比,G5 实例可为图形密集型应用程序和机器学习推理提供高达 3 倍的性能,为机器学习训练提供高达 3.3 倍的性能。

客户可以将 G5 实例用于图形密集型应用程序,例如远程工作站、视频渲染和游戏,以实时生成高保真图形。利用 G5 实例,机器学习客户可以获得高性能且成本高效的基础设施,以便为自然语言处理、计算机视觉和推荐引擎使用案例训练和部署更大且更复杂的模型。

G5 实例配备多达 8 个 NVIDIA A10G Tensor Core GPU 和第二代 AMD EPYC 处理器。它们还支持多达 192 个 vCPU、高达 100 Gbps 的网络带宽和多达 7.6 TB 的本地 NVMe SSD 存储。

新 Amazon EC2 G5 实例 (1:20)

优势

适用于图形密集型应用程序的高性能实例

与 G4dn 实例相比,G5 实例可提供高达 3 倍的图形性能,并且性价比提高了高达 40%。与其他任何基于 GPU 的 EC2 实例相比,它们配备了更多的光线跟踪内核,每个 GPU 具有 24 GB 内存,并且支持 NVIDIA RTX 技术。这使得它们非常适合于更快速地渲染真实场景、运行功能强大的虚拟工作站和支持更高保真度的图形密集型应用程序。

高性能且成本高效,适用于机器学习推理

与 G4dn 实例相比,G5 实例可提供高达 3 倍的性能,并且将机器学习推理的性价比提高了高达 40%。它们是一款高性能且成本高效的解决方案,适用于想要使用诸如 TensorRT、CUDA 和 cuDNN 之类的 NVIDIA 库来运行其机器学习应用程序的客户。

成本高效训练,适用于中等复杂的机器学习模型

较之 Amazon EC2 P3 实例,G5 实例可将训练成本降低高达 15%。此外,与 G4dn 实例相比,它们还可以提供高达 3.3 倍的机器学习培训性能。这使得它们成为训练适用于自然语言处理、计算机视觉和推荐引擎使用案例的中等复杂和单节点机器学习模型的成本高效解决方案。

资源效率最大化

G5 实例基于 AWS Nitro 系统构建,该系统是专用硬件和轻量管理程序的组合,几乎将主机硬件的所有计算和内存资源都提供给您的实例,从而提供更好的整体性能和安全性。借助 G5 实例,Nitro 系统可以在穿透模式下预置 GPU,从而提供与裸机相当的性能。

功能

AWS NVIDIA A10G Tensor Core GPU

G5 实例是云中首款配备 NVIDIA A10G Tensor Core GPU 的实例,可提供适用于图形密集型和机器学习应用程序的高性能。每个实例配备高达 8 个 A10G Tensor Core GPU,包含 80 个光纤跟踪内核且每个 GPU 包含 24 GB 内存。此外,它们还具有 320 个第三代 NVIDIA Tensor 内核,从而提供适合于机器学习工作负载的 250 TOPS 高性能。

NVIDIA 驱动程序

G5 实例可为客户提供 NVIDIA RTX Enterprise 和游戏驱动程序,无需额外收费。NVIDIA RTX Enterprise 驱动程序可用于为各种图形密集型工作负载提供高质量虚拟工作站。NVIDIA 游戏驱动程序可为游戏开发提供无可比拟的图形和计算支持。此外,G5 实例还支持 CUDA、cuDNN、NVENC、TensorRT、cuBLAS、OpenCL、DirectX 11/12、Vulkan 1.1 和 OpenGL 4.5 库。

高性能联网和存储

G5 实例提供 100 Gbps 联网吞吐量,从而使它们能够满足机器学习推理和图形密集型应用程序的低延迟需求。每个 GPU 24 GB 内存以及对高达 7.6 TB 本地 NVMe SSD 存储的支持使得能够本地存储高性能机器学习训练和推理中的大型模型和数据集。此外,G5 实例还可以本地存储大型视频文件,从而提高图形性能,并且能够渲染更大、更复杂的视频文件。

依托 AWS Nitro 系统构建

G5 实例依托 AWS Nitro 系统构建,该系统是丰富的构建数据块集合,可将许多传统虚拟化功能卸载到专用硬件和软件,实现高性能、高可用性和高安全性,同时还可降低虚拟化开销。

产品详细信息

  实例大小 GPU GPU 内存 (GiB) vCPU 内存 (GiB) 存储 (GB) 网络带宽 (Gbps) EBS 带宽 (Gbps) 按需价格/小时* 1 年期 ISP 的有效小时 (Linux) 3 年期 ISP 的有效小时 (Linux)
单 GPU VM g5.xlarge 1 24 4 16 1x250 最高 10 最高 3.5 1.006 USD 0.604 USD 0.402 USD
g5.2xlarge 1 24 8 32 1x450 最高 10 最高 3.5 1.212 USD 0.727 USD 0.485 USD
g5.4xlarge 1 24 16 64 1x600 最高 25 8 1.624 USD 0.974 USD 0.650 USD
g5.8xlarge 1 24 32 128 1x900 25 16 2.448 USD 1.469 USD 0.979 USD
g5.16xlarge 1 24 64 256 1x1900 25 16 4.096 USD 2.458 USD 1.638 USD
                       
多 GPU VM g5.12xlarge 4 96 48 192 1x3800 40 16 5.672 USD 3.403 USD 2.269 USD
g5.24xlarge 4 96 96 384 1x3800 50 19 8.144 USD 4.886 USD 3.258 USD
g5.48xlarge 8 192 192 768 2x3800 100 19 16.288 USD 9.773 USD 6.515 USD

* 所示价格适用于美国东部(弗吉尼亚北部)AWS 区域。1 年期和 3 年期预留实例的价格适用于“部分预付费用”付款方式或“无预付费用”(针对没有“部分预付费用”选项的实例)。

客户评价

Athenascope 徽标

Athenascope 使用计算视觉和人工智能领域的尖端技术来分析游戏并自动呈现最引人入胜的游戏时刻,以便为玩家和内容创建者创作精彩视频。

“要打造无缝视频体验,使用 CV 模型的低延迟视频分析是我们的基础目标。与以前使用 G4dn 实例的部署相比,Amazon EC2 G5 实例将性价比提高了 30%。”

Chris Kirmse,Athenascope 创始人兼首席执行官

Netflix

Netflix 是全球领先的流媒体娱乐服务公司之一,在 190 多个国家/地区拥有超过 2.14 亿付费会员,提供的内容包括众多类型和语言的电视剧、纪录片和故事片。 

“对我们来说,在云中为我们的观众创建一个动画、视觉效果和实景真人内容的工作室是我们的首要任务。我们想要艺术家能够在需要时随时随地灵活地访问工作站。我们通过让艺术家们能够访问功能更加强大的工作站来不断帮助他们创新。”

Stephen Kowalski,Netflix 数字制作基础设施工程总监

“借助新的 Amazon EC2 G5 实例,我们可以预置更高端的图形工作站,与配备 EC2 G4dn 实例的工作站相比,这些工作站提供高达 3 倍的性能。借助 G5 实例,内容创作者可以自由地为观众创建更复杂、更逼真的内容。”

Ben Tucker,Netflix 动画制作系统工程技术主管

Varjo
“对于高端 VR/XR 应用程序来说,Amazon EC2 G5 实例彻底实现了变革。我们能够在 Varjo 的人眼签名解决方案中运行专业应用程序,且帧率比以前使用的 G4dn 实例高 3 倍,从而为我们的客户提供前所未见的服务器流式传输体验。” 

Varjo 创始人兼首席技术官 Urho Konttori

阅读案例研究 »

开始使用

AWS Deep Learning AMIs(DLAMI)和 AWS Deep Learning Containers(DLC)

AWS Deep Learning AMIs(DLAMI)和 AWS Deep Learning Containers(DLC)为数据科学家、ML 从业者和研究人员提供预先通过深度学习框架安装的机器和容器映像,让您可以跳过从头构建和优化软件环境的复杂流程,从而轻松入门。适用于 Gaudi 加速器的 SynapseAI SDK 已集成到 AWS DL AMI 和 DLC,支持您快速开始使用 DL1 实例。

Amazon Elastic Kubernetes Service(EKS)或 Elastic Container Service(ECS)

首选通过容器编排服务管理其容器化工作负载的客户可以使用 Amazon EKSECS 部署 DL1 实例。

其他资源

演示:使用 Amazon EC2 DL1 实例训练深度学习模型(2:03)
Amazon EC2 DL1 实例简介(3:41)
Amazon EC2 DL1 训练成本对比(0:50)
轻松开始使用 Amazon EC2 DL1 实例(0:49)

Habana® Gaudi® v0.15 文档

访问文档 »

Habana® 开发人员论坛

访问论坛 »

Habana® GitHub 存储库

访问 GitHub »

资源

数据表

NVIDIA A10G Tensor Core GPU:提高 AWS 云中的计算和图形性能

开始使用 AWS

注册 AWS 账户

注册 AWS 账户

立即享受 AWS 免费套餐

通过简单教程进行学习

通过 10 分钟教程进行学习

通过简单教程进行探讨和学习。

开始在控制台中使用 EC2 构建

开始在控制台中构建

按照可帮助您启动 AWS 项目的分步指南开始构建。