Amazon EC2 G6e 实例

与 P4d 实例相比，G6e 实例提供了高达 1.2 倍的 GPU 内存，这使客户能够部署 LLM 和扩散模型，同时节省高达 20% 的成本。G6e 实例由采用第四代 Tensor 核心的 L40S GPU 提供支持，是高性能且具成本效益的解决方案，适用于想要使用诸如 TensorRT、CUDA 和 cuDNN 之类的 NVIDIA 库来运行其机器学习应用程序的客户。

与 P4d 实例相比，G6e 实例提供相同的网络带宽 (400 Gbps) 和高达 1.2 倍的 GPU 内存。这使其非常适合经济高效地单节点微调或训练小型模型。

G6e 实例拥有 384 GB 的 GPU 总内存，并搭配 NVIDIA 的第三代光线追踪核心，可为空间计算工作负载提供最高的性能。网络带宽达 400 Gbps，这提高了接收真实输入的空间计算应用程序的实时性能。这些实例为客户带来了新的机会，使他们能够为工厂规划、机器人仿真和网络优化等工作负载创建更广泛的三维数字孪生。

G6e 实例基于 AWS Nitro System 构建，该系统是专用硬件和轻量管理程序的组合，几乎将主机硬件的所有计算和内存资源都提供给您的实例，从而提供更好的整体性能和安全性。借助 G6e 实例，Nitro 系统可以在穿透模式下预置 GPU，从而提供与裸机相当的性能。

G6e 实例采用 NVIDIA L40S Tensor Core GPU，融合了强大的人工智能计算与一流的图形和媒体加速能力。每个实例最多可配备 8 个 L40S Tensor Core GPU（每个 GPU 拥有 48 GB 内存）、第三代 NVIDIA RT 核心、第四代 NVIDIA RT Tensor 核心和 DLSS 3.0 技术。

G6e 实例可为客户提供 NVIDIA RTX Enterprise 和游戏驱动程序，无需额外付费。NVIDIA RTX Enterprise 驱动程序可用于为各种图形密集型工作负载提供高质量虚拟工作站。NVIDIA 游戏驱动程序可为游戏开发提供无可比拟的图形和计算支持。此外，G6e 实例还支持 CUDA、cuDNN、NVENC、TensorRT、cuBLAS、OpenCL、DirectX 11/12、Vulkan 1.3 和 OpenGL 4.6 库。

G6e 实例提供高达 400 Gbps 的网络吞吐量，这使其能够满足机器学习推理和图形密集型应用程序的低延迟需求。每个 GPU 拥有 48 GB 内存，系统内存和本地 NVMe SSD 存储分别高达 1.536 TB 和 7.6 TB，这使本地存储高性能机器学习训练和推理中的大型模型和数据集成为可能。此外，G6e 实例还可以本地存储大型视频文件，从而提高图形性能，并且能够渲染更大、更复杂的视频文件。

G6e 实例依托 AWS Nitro System 构建，该系统是丰富的构建数据块集合，可将许多传统虚拟化功能卸载到专用硬件和软件，实现高性能、高可用性和高安全性，同时还可降低虚拟化开销。