Amazon SageMaker HyperPod で G7e および r5d.16xlarge インスタンスのサポートを開始
Amazon SageMaker HyperPod で G7e インスタンスと r5d.16xlarge インスタンスがサポートされるようになりました。SageMaker HyperPod は、基盤モデルを大規模に開発、トレーニング、デプロイするための専用インフラストラクチャです。組み込みの耐障害性、クラスターの自動復旧、最適化された分散型トレーニングライブラリを備えた、回復力とパフォーマンスが高い環境を提供し、大規模な AI/ML インフラストラクチャの管理に伴う、差別化につながらない面倒な作業を軽減します。
G7e インスタンスは NVIDIA RTX PRO 6000 Blackwell Server Edition GPU を搭載しており、G6e インスタンスよりも最大 2.3 倍優れた推論パフォーマンスを提供するため、レイテンシーを低減しながら 1 秒あたりのリクエスト処理数を増加させることができます。最大 768 GB の合計 GPU メモリを搭載した G7e インスタンスでは、単一のエンドポイントで大規模言語モデルをデプロイしたり、複数のモデルを実行したりできます。これらのインスタンスを使用して、LLM、エージェンティック AI、マルチモーダル 生成 AI、および物理 AI モデルをデプロイできます。G7e インスタンスは、G6e と比較して最大 1.27 倍の TFLOPS と最大 4 倍の GPU 間帯域幅を備え、NLP、コンピュータビジョン、および小規模な生成 AI モデルをコスト効率の高い単一ノードでファインチューニングしたりトレーニングしたりするのにも最適です。さらに、HyperPod では r5d.16xlarge もサポートされるようになりました。r5d.16xlarge インスタンスは、64 個の vCPU、512 GB のメモリ、5 x 600 GB の NVMe SSD インスタンスストレージを提供し、最大 3.1 GHz の持続的なオールコアターボ周波数のインテル Xeon Platinum 8000 シリーズプロセッサを搭載しています。このインスタンスは、特に Ray などのフレームワークでの分散型トレーニングデータの前処理、大規模な特徴量エンジニアリング、GPU コンピューティングと並行したメモリを大量に消費するオーケストレーションサービスの実行に非常に適しています。
G7e インスタンスは、米国東部 (バージニア北部)、米国東部 (オハイオ)、アジアパシフィック (東京)、および米国西部 (オレゴン) でご利用いただけます。r5d.16xlarge は Amazon SageMaker HyperPod が利用可能なすべてのリージョンでご利用いただけます。