亚马逊AWS官方博客

新增功能 — 配备 NVIDIA A10G Tensor Core GPU 的 EC2 实例 (G5)

两年前,我曾向大家介绍过当时新的 G4 实例,它们配备多达八个 NVIDIA T4 Tensor Core GPU。这些实例旨在为机器学习推理和图形密集型应用程序提供经济高效的 GPU 处理能力。

我很高兴向大家介绍新的 G5 实例,它们配备多达八个 NVIDIA A10G Tensor Core GPU。在第二代 AMD EPYC 处理器的支持下,这些实例在推理和图形密集型操作方面的性价比比前代产品高 40%。

在 GPU 方面,与 G4dn 实例中的 T4 GPU 相比,A10G GPU 的机器学习 (ML) 训练性能提高 3.3 倍,机器学习 (ML) 推理性能提高 3 倍,图形性能提高 3 倍。每个 A10G GPU 拥有 24 GB 内存、80 个 RT(光线追踪)内核、320 个第三代 NVIDIA Tensor Core,并为您的 AI 工作负载提供高达 250 个 TOPS(每秒万亿次操作)的计算能力。

规格如下:

实例名称
NVIDIA A10G
Tensor Core GPU
vCPU 内存 本地存储 EBS 带宽 网络带宽
g5.xlarge 1 4 16 GiB 250 GB 最高 3.5 Gbps 最高 10 Gbps
g5.2xlarge 1 8 32 GiB 450 GB 最高 3.5 Gbps 最高 10 Gbps
g5.4xlarge 1 16 64 GiB 600 GB 8 Gbps 最高 25 Gbps
g5.8xlarge 1 32 128 GiB 1900 GB 16 Gbps 25 Gbps
g5.12xlarge 4 48 192 GiB 3800 GB 16 Gbps 40 Gbps
g5.16xlarge 1 64 256 GiB 1900 GB 16 Gbps 25 Gbps
g5.24xlarge 4 96 384 GiB 3800 GB 19 Gbps 50 Gbps
g5.48xlarge 8 192 768 GiB 7600 GB 19 Gbps 100 Gbps

与之前的实例一样,这些实例非常适合许多有趣类型的工作负载。以下举几个示例:

媒体和娱乐 — 客户通常借助高端专业级工具,使用 G5 实例来进行精修和调色任务。每个实例都分配了充足的 EBS 带宽,因而这些任务还可以支持实时回放功能。此外,客户还可利用 G5 实例增强的光线追踪功能来支持游戏开发工具。

远程工作站 — 包括媒体和娱乐、游戏、教育、建筑、工程和施工在内的许多不同行业的客户都希望在云中运行高端图形工作站,而且也在寻找各种规模的实例。

机器学习和深度学习 — G5 实例为训练和推理工作负载带来了高性能和重大价值。他们还可以访问 NVIDIA CuDNNNVIDIA TensorRTNVIDIA Triton 推理服务器以及 NVIDIA NGC 目录中的其他机器学习和深度学习软件,这些软件均已针对 NVIDIA GPU 进行了优化。

自驾车 — 我们的一些客户正在设计和模拟包含多个实时传感器的自驾车。客户使用光线追踪实时模拟传感器输入,还利用强大网络和大量内存支持的工具从实际测试中收集数据。

这些实例支持 Linux 和 Windows,并与一长串图形和机器学习库兼容,包括 CUDA、CuDNN、CuBLAS、NVENC、TensorRT、OpenCL、DirectX、Vulkan 和 OpenGL。

现已推出
新的 G5 实例现已推出,您目前可在美国东部(弗吉尼亚北部)美国西部(俄勒冈)欧洲(爱尔兰)区域以按需、Spot、Savings Plan 和预留实例形式使用这些实例。您还可以在 Amazon Elastic Container Service (Amazon ECS)Amazon Elastic Kubernetes Service (EKS) 集群中启动实例。

如需了解详情,请查看 G5 实例页面。

Jeff