跳至主要内容

Amazon EC2

Amazon EC2 G6 实例

基于 GPU 的高性能实例,适用于深度学习推理和图形密集型应用

为什么选择 Amazon EC2 G6 实例?

由 NVIDIA L4 Tensor Core GPU 驱动的 Amazon EC2 G6 实例可用于各种图形密集型和机器学习应用场景。 与 EC2 G4dn 实例相比,G6 实例可提供多达 2 倍的深度学习推理和图形工作负载性能。G6 实例还为无法充分利用 NVIDIA L4 GPU 的机器学习推理和图形工作负载引入了分数 GPU 产品的大小。

客户可以使用 G6 实例部署 ML 模型,用于自然语言处理、语言翻译、视频和图像分析、语音识别、个性化以及图形工作负载,例如创建和渲染实时、电影质量的图形和游戏直播。

G6 实例具有多达 8 个 NVIDIA L4 Tensor Core GPU,每个 GPU 具有 24 GB 的内存,分散的 GPU 大小仅为 L4 GPU 的 1/8 和 3 GB GPU 内存。它们还支持最多 192 个 vCPU、最高 100Gbps 的网络带宽和最多 7.52TB 的本地 NVMe SSD 存储。

优势

    与 G4dn 实例相比,G6 实例可提供高达 2 倍的深度学习推理性能。它们由 L4 GPU 驱动,具有第四代张量内核,是高性能且具有成本效益的解决方案,适用于想要使用诸如 TensorRT、CUDA 和 cuDNN 之类的 NVIDIA 库来运行其机器学习应用程序的客户。

    与 G4dn 实例相比,G6 实例可提供高达 2 倍的图形性能。它们由具有第三代 RT 内核并支持 NVIDIA RTX 技术的 L4 GPU 驱动。这使得它们非常适合用于更快速地渲染真实场景、运行功能强大的虚拟工作站和支持更高保真度和分辨率的图形密集型应用程序。Gr6 实例支持的 vCPU 与内存比率为 1:8,非常适合内存要求较高的图形工作负载。

    G6 实例基于 AWS Nitro System 构建,该系统是专用硬件和轻量管理程序的组合,几乎将主机硬件的所有计算和内存资源都提供给您的实例,从而提供更好的整体性能和安全性。借助 G6 实例,Nitro 系统可以在穿透模式下预置 GPU,从而提供与裸机相当的性能。利用 G6f 实例大小,客户还可以使用低至 3 GB 的 GPU 内存(四级 GPU 的 1/8)访问分段 GPU 配置文件,从而根据单个工作负载所需的 GPU 计算和内存量进行成本优化。

功能

    G6 实例采用 NVIDIA L4 张量核心 GPU,可为图形密集型和机器学习应用程序提供高性能。每个实例具有多达 8 个 L4 Tensor Core GPU,每个 GPU 配备 24 GB 内存,或小至 GPU 1/8 的分散式 GPU,配备 3 GB GPU 内存、第三代 NVIDIA RT 内核、第四代 NVIDIA 张量内核和 DLSS 3.0 技术。NVIDIA L4 GPU 包括四个视频解码器和两个视频编码器,并具有 AV1 硬件编码功能。

    G6 实例可为客户提供 NVIDIA RTX Enterprise 和游戏驱动程序,无需额外收费。NVIDIA RTX Enterprise 驱动程序可用于为各种图形密集型工作负载提供高质量虚拟工作站。NVIDIA 游戏驱动程序可为游戏开发提供无可比拟的图形和计算支持。 分数化 G6 实例提供 NVIDIA GRID 驱动程序 18.4 或更高版本。此外,G6 实例还支持 CUDA、cuDNN、NVENC、TensorRT、cuBLAS、OpenCL、DirectX 11/12、Vulkan 1.3 和 OpenGL 4.6 库。

    G6 实例提供 100 Gbps 联网吞吐量,从而使它们能够满足机器学习推理和图形密集型应用程序的低延迟需求。每个 GPU 24 GB 内存以及对高达 7.52 TB 本地 NVMe SSD 存储的支持使得能够本地存储高性能机器学习训练和推理中的大型模型和数据集。此外,G6 实例还可以本地存储大型视频文件,从而提高图形性能,并且能够渲染更大、更复杂的视频文件。

    G6 实例依托 AWS Nitro System 构建,该系统是丰富的构建数据块集合,可将许多传统虚拟化功能卸载到专用硬件和软件,实现高性能、高可用性和高安全性,同时还可降低虚拟化开销。

产品详情-分数 vGPU 虚拟机

实例大小
GPU
GPU 内存 (GB)
vCPU
内存(GiB)
存储(GB)
网络带宽(Gbps)
EBS 带宽(Gbps)
分数 vGPU 虚拟机

g6f.large

g6f.xlarge

g6f.2xlarge

g6f.4xlarge

gr6f.4xlarge

1/8

1/8

1/4

1/2

1/2

3

3

6

12

12

2

4

8

16

16

8

16

32

64

128

1x100

1x100

1x200

1x450

1x450

最高 10

最高 10

最高 10

最高 25

最高 25

最高 5

最高 5

最高 5

6

8

产品详情-单 GPU 虚拟机

实例大小
GPU
GPU 内存 (GB)
vCPU
内存(GiB)
存储(GB)
网络带宽(Gbps)
EBS 带宽(Gbps)
单 GPU VM

g6.xlarge

g6.2xlarge

g6.4xlarge

g6.8xlarge

g6.16xlarge

1

1

1

1

1

24

24

24

24

24

4

8

16

32

64

16

32

64

128

256

1x250

1x450

1x600

2x450

2x940

最高 10

最高 10

最高 25

25

25

最高 5

最高 5

8

16

20

产品详情-Gr6 实例,vCPU: RAM 比率为 1:8

实例大小
GPU
GPU 内存 (GB)
vCPU
内存(GiB)
存储(GB)
网络带宽(Gbps)
EBS 带宽(Gbps)
单 GPU VM

gr6.4xlarge

gr6.8xlarge

1

1

24

24

16

32

128

256

1x600

2x450

最高 25

25

8

16

产品详情-多 GPU 虚拟机

实例大小
GPU
GPU 内存 (GB)
vCPU
内存(GiB)
存储(GB)
网络带宽(Gbps)
EBS 带宽(Gbps)
多 GPU VM

g6.12xlarge

g6.24xlarge

g6.48xlarge

4

4

8

96

96

192

48

96

192

192

384

768

4x940

4x940

8x940

40

50

100

20

30

60

客户和合作伙伴评价

以下是客户和合作伙伴如何利用 Amazon EC2 G6 实例实现业务目标的一些示例。

Varjo

Varjo 为高级虚拟现实用户生产最高沉浸度的虚拟现实和混合现实产品。他们的解决方案用于培训宇航员、飞行员和核电站操作员,以及汽车设计和开创性研究。  

“对于混合现实的高端企业应用程序来说,Amazon EC2 G6 实例改变了游戏规则。我们能够以具有成本效益和可扩展的方式训练复杂的机器学习模型,增强客户的用户体验,同时实现高性价比的投资回报率。“

Knut Nesheim,Varjo 工程主管

Missing alt text value

Cloudinary

Cloudinary 的使命是帮助公司释放媒体的全部潜能,创造最引人入胜的视觉体验。 

“为了实现高效的视频处理工作流程,Amazon EC2 G6 实例显著加速了 AV1 视频编码,从而能够更快地为我们的客户交付高度优化的内容。

Cloudinary 媒体技术副总裁 Amnon Cohen-Tidhar

Missing alt text value

SmugMug

数百万的客户使用 SmugMug 的照片和视频共享服务来存储数十亿的珍贵照片和视频。 

“在SmugMug和Flickr,我们说:“你的照片在这里看起来更好”。自 2013 年以来,我们一直在使用 Amzon EC2 GPU 实例类型来帮助履行这一承诺。每一代 EC2 GPU 都会带来更快的性能和更高的吞吐量性价比,使我们能够经济高效地扩展图像渲染,以获得更大的照片尺寸,为更高分辨率的显示器提供更大尺寸的照片。我们对 g6 实例系列及其进一步优化基础设施性能和经济性的能力感到兴奋。“

SmugMug 和 Flickr 首席工程师 Andrew Shieh

Missing alt text value

开始使用适用于机器学习的 G6 实例

使用 DLAMI 或 Deep Learning Containers

DLAMI 为机器学习从业者和研究人员提供基础设施和工具,以加速任何规模的云端深度学习。 Deep Learning Containers 是预先安装了深度学习框架的 Docker 映像,可以让您跳过从头构建和优化环境的复杂流程,从而简化自定义机器学习环境的部署。

使用 Amazon EKS 或 Amazon ECS

如果您更愿意通过容器编排服务管理自己的容器化工作负载,则可以使用 Amazon EKSAmazon ECS 部署 G6 实例。