Amazon EC2 Trn2 インスタンスの一般提供を開始
本日、AWS は Amazon Elastic Compute Cloud (Amazon EC2) Trn2 インスタンスの一般提供と、AWS Trainium2 チップを搭載した Trn2 UltraServers のプレビューを発表しました。 EC2 Capacity Blocks 経由で利用可能な Trn2 インスタンスと UltraServer は、深層学習と生成 AI のトレーニングおよび推論のための最も強力な EC2 コンピューティングソリューションです。
Trn2 インスタンスを使用して、大規模言語モデル (LLM)、マルチモーダルモデル、拡散トランスフォーマーなど、最も要求の厳しい基盤モデルのトレーニングとデプロイを行い、幅広い AI アプリケーションを構築できます。最も高性能かつ最先端のモデルでトレーニング時間を短縮し、画期的な応答時間 (トークンの待ち時間当たり) を実現するには、1 つのインスタンスでは提供できないほどのコンピューティングとメモリが必要になる場合があります。Trn2 UltraServers は、高帯域幅で低レイテンシーのファブリックである NeuronLink を使用して、4 つの Trn2 インスタンスにまたがる 64 個の Trainium2 チップを 1 つのノードに接続し、比類のないパフォーマンスを実現するまったく新しい EC2 製品です。推論に関しては、UltraServer は業界トップクラスの応答時間を実現し、最高のリアルタイム体験を実現するのに役立ちます。トレーニングに関しては、UltraServer はスタンドアロンインスタンスと比較して、モデルの並列処理のための集団通信が高速になるため、モデルトレーニングの速度と効率が向上します。
Trn2 インスタンスには 16 個の Trainium2 チップが搭載されており、最大 20.8 ペタフロップスの FP8 コンピューティング、1.5 TB の高帯域幅メモリ、46 TB/s のメモリ帯域幅、3.2 Tbps の EFA ネットワーキングを実現します。Trn2 UltraServer には 64 個の Trainium2 チップが搭載されており、最大 83.2 ペタフロップスの FP8 コンピューティング、6 TB の高帯域幅メモリ、合計 185 Tbps のメモリ帯域幅、12.8 Tbps の EFA ネットワーキングを実現します。どちらも EC2 UltraClusters にデプロイされ、分散型トレーニングにノンブロッキングでペタビットのスケールアウト機能を提供します。Trn2 インスタンスは、米国東部 (オハイオ) AWS リージョンでは、ML 用 EC2 Capacity Blocks を通じて trn2.48xlarge サイズで一般提供されています。
Trn2 インスタンスの詳細と Trn2 UltraServer へのアクセスをリクエストするには、Trn2 インスタンスのページをご覧ください。