Amazon P6e-GB200 UltraServers 現在提供 EC2 內的最高 GPU 效能
Amazon 今日宣佈正式推出採用 NVIDIA GB200 NVL72 進行加速的 Amazon Elastic Compute Cloud (Amazon EC2) P6e-GB200 UltraServers。Amazon EC2 P6e-GB200 UltraServers 提供 EC2 中最高的 GPU 型人工智慧訓練和推論效能。它們旨在加速基礎模型 (FM) 的訓練和推論作業,並具備推理模型和數億參數規模的代理式 AI 等下一代功能。
有了 P6e-GB200 UltraServers,客戶可在單一 NVLink 網域內接入多達 72 顆 Blackwell GPU,從而充分利用 360 petaflops 的 FP8 運算能力 (不含稀疏化處理)、總計 13.4 TB 的高頻寬記憶體 (HBM3e),以及每秒高達 28.8 Tbps 的彈性結構適配器 (EFAv4) 聯網。 P6e-GB200 UltraServers 採用 AWS Nitro System 技術,能讓客戶可靠且安全地將 EC2 UltraClusters 中的 AI 工作負載擴展至數萬顆 GPU 的規模。
P6e-GB200 UltraServers 現在可透過適用於 ML 的 Amazon EC2 容量區塊於達拉斯本地區域 (「us-east-1-dfw-2a」) 使用,該位置為美國東部 (維吉尼亞北部) 區域的延伸區域。P6e-GB200 UltraServers 有兩種尺寸可供選擇:u-p6e-gb200x72 (NVLink 內有 72 顆 GPU) 和 u-p6e-gb200x36 (NVLink 內有 36 顆 GPU)。
若要進一步了解,請參閱 Amazon EC2 P6e-GB200 UltraServers 和 P6-B200 執行個體。