P5 インスタンスは、合計で最大 640 GB の HBM3 GPU メモリを備えた最大 8 個の NVIDIA H100 GPU (1 インスタンスあたり) を搭載しています。P5 インスタンスは、最大 900 GB/秒の NVSwitch GPU インターコネクト (各インスタンスで合計 3.6 TB/秒 の二分バンド幅) をサポートしているため、各 GPU は同じインスタンス内の他のすべての GPU とシングルホップレイテンシーで通信できます。

NVIDIA H100 GPU には、FP8 と 16 ビット計算をインテリジェントに管理して動的に選択する新しいトランスフォーマーエンジンが搭載されています。前世代の A100 GPU と比較してみると、この機能により、LLM での DL トレーニングがさらに高速化されています。HPC ワークロード用として、NVIDIA H100 GPU には、A100 GPU と比較して動的プログラミングアルゴリズムをさらに加速させる新しい DPX 命令が搭載されています。

P5 インスタンスでは、最大 3,200 Gbps の EFAv2 ネットワーキングが提供されます。EFAv2 では、分散型トレーニングのワークロードにおける集団通信性能が最大 50% 向上します。また、EFAv2 を NVIDIA GPUDirect RDMA と組み合わせると、オペレーティングシステムバイパスによりサーバー間の低レイテンシーの GPU 間通信も可能になります。

P5 インスタンスは Amazon FSx for Lustre ファイルシステムをサポートしているため、大規模な DL および HPC ワークロードに必要な数百 GB/秒のスループットと数百万の IOPS でデータにアクセスできます。それぞれの P5 インスタンスは、最大 30 TB のローカル NVMe SSD ストレージもサポートし、大規模なデータセットへの高速アクセスを実現します。また、Amazon Simple Storage Service (Amazon S3) では、費用対効果の高いストレージを事実上無制限に使用できます。

P5 インスタンスは、第 2 世代 EC2 UltraClusters にデプロイされます。この UltraClusters は、前世代の UltraClusters よりも大規模なスケール、少ないネットワークホップ数 (クラスター全体で)、および低減されたレイテンシーを可能にするネットワークファブリックを提供します。UltraClusters の P5 インスタンスでは、ペタビット規模のネットワークで相互接続された H100 GPU を最大 20,000 個までスケールできるため、合計 20 エクサフロップスのコンピューティング能力が提供されます。

P5 インスタンスのデプロイには、AWS Deep Learning AMI (DLAMI) と AWS Deep Learning Containers を使用します。これらは、Amazon SageMaker、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、AWS Batch などのマネージドサービスを通じて利用できます。

SageMaker は、ML モデルを構築、トレーニング、およびデプロイするためのフルマネージド型サービスです。P5 インスタンスと一緒に使用すると、クラスターやデータパイプラインの設定を気にすることなく、数十、数百、数千の GPU に簡単にスケールし、あらゆる規模でモデルを迅速にトレーニングできます。

DLAMI は、ML の専門家と研究者を対象に、クラウドであらゆる規模の DL を加速させるためのインフラストラクチャとツールを提供します。Deep Learning Containers は、深層学習フレームワークがプリインストールされた Docker イメージであり、環境の構築と最適化をゼロから行う面倒なプロセスをスキップして、カスタムの機械学習環境のデプロイを合理化します。

コンテナオーケストレーションサービスを通じて独自のコンテナ化されたワークロードを管理したい場合は、Amazon EKS または Amazon ECS を使用して P5 インスタンスをデプロイしてください。