Amazon EC2 P5 インスタンスを使用すべき理由
NVIDIA H100 Tensor Core GPU を搭載した Amazon Elastic Compute Cloud (Amazon EC2) P5 インスタンス、および NVIDIA H200 Tensor Core GPU を搭載した P5e インスタンスと P5en インスタンスは、深層学習 (DL) およびハイパフォーマンスコンピューティング (HPC) アプリケーションのために Amazon EC2 で極めて高いパフォーマンスを発揮します。これらは、前世代の GPU ベースの EC2 インスタンスと比較してソリューション開発までの時間を最大で 4 分の 1 に短縮し、ML モデルのトレーニングコストを最大 40% 削減するのに役立ちます。これらのインスタンスは、より速いペースでソリューションをイテレーションし、より迅速に市場に投入するのに役立ちます。P5、P5e、および P5en インスタンスは、極めて要求の厳しい生成人工知能 (AI) アプリケーションを強化する、ますます複雑化する大規模言語モデル (LLM) や拡散モデルのトレーニングやデプロイに使用できます。これらのアプリケーションには、質問応答、コード生成、動画と画像の生成、および音声認識が含まれます。また、これらのインスタンスを使用して、医薬品開発、耐震解析、天気予報、財務モデリングなどの要求の厳しい HPC アプリケーションを大規模にデプロイすることもできます。
これらのパフォーマンス改善とコスト削減を実現するため、P5 および P5e インスタンスは、前世代の GPU ベースインスタンスと比較して、2 倍の CPU パフォーマンス、2 倍のシステムメモリ、および 4 倍のローカルストレージで NVIDIA H100 および H200 Tensor Core GPU を補完します。P5en インスタンスは NVIDIA H200 Tensor Core GPU と高性能 Intel Sapphire Rapids CPU を組み合わせて、CPU と GPU 間で Gen5 PCIe を利用した高速な通信を実現します。P5en インスタンスは、P5e および P5 インスタンスと比較して CPU と GPU 間の帯域幅が最大 4 倍になり、ネットワークレイテンシーが低くなるため、分散型トレーニングのパフォーマンスが向上します。P5 および P5e インスタンスのサポートにより、第 2 世代の Elastic Fabric Adapter (EFA) を使用して最大 3,200 Gbps のネットワーキングが可能になります。Nitro v5を使用した第 3 世代の EFA を搭載した P5en では、前世代の EFA と Nitro を使用する P5 と比較して、レイテンシーが最大 35% 向上しています。これにより、深層学習、生成 AI、リアルタイムデータ処理、ハイパフォーマンスコンピューティング (HPC) アプリケーションなどの分散トレーニングワークロードで集団通信のパフォーマンス向上に役立ちます。大規模なコンピューティングを低レイテンシーで提供するために、これらのインスタンスは Amazon EC2 UltraClusters にデプロイされます。これにより、ペタビット級のノンブロッキングネットワークで相互接続された H100 または H200 GPU を 20,000 個まで拡張できます。EC2 UltraClusters の P5、P5e、および P5en インスタンスは、合計で最大 20 エクサフロップスのコンピューティング能力 (スーパーコンピュータと同等のパフォーマンス) を提供できます。
Amazon EC2 P5 インスタンス
利点
特徴
お客様の声
お客様とパートナーが Amazon EC2 P4 インスタンスを使用してビジネス目標を達成した例をいくつかご紹介します。
-
Anthropic
Anthropic は信頼性が高く、解釈可能で、操作可能な AI システムを構築し、このシステムを通じて商業面だけでなく公共の利益のために価値を創造する多くの機会を提供します。
Anthropic では、信頼性が高く、解釈可能で、操作可能な AI システムの構築に取り組んでいます。今日の大規模な汎用 AI システムには大きなメリットがある一方で、予測不可能で、信頼性が低く、不透明である可能性もあります。私たちの目標は、これらの問題を進展させ、人々が役立つと考えるシステムを導入することです。私たちの組織は、DL 研究の基盤となるモデルを構築している世界でも数少ない組織の 1 つです。これらのモデルは非常に複雑であるため、こうした最先端のモデルを開発してトレーニングするには、大規模な GPU クラスターに効率的に分散させる必要があります。現在、Amazon EC2 P4 インスタンスを幅広く使用しており、P5 インスタンスのリリースを心待ちにしています。P4d インスタンスに比べてコストパフォーマンス面での大きな利点をもたらし、次世代 LLM や関連製品の構築に必要となる大きな規模で利用できるようになることを期待しています。
Anthropic、共同創設者、Tom Brown 氏 -
Cohere
言語 AI のリーディングパイオニアである Cohere は、すべての開発者と企業が、データのプライバシーと安全性を維持しながら、世界をリードする自然言語処理 (NLP) テクノロジーを備えた素晴らしい製品を構築できるよう支援しています。
Cohere は、すべての企業が言語 AI の力を利用して、自然で直感的な態様で情報を探索、生成、検索し、それに基づいて行動できるようサポートし、それぞれのお客様にとって最適なデータ環境で複数のクラウドプラットフォームにデプロイする点で業界をリードしています。NVIDIA H100 を搭載した Amazon EC2 P5 インスタンスは、そのコンピューティング能力を Cohere の最先端の LLM 機能や生成 AI 機能と組み合わせることで、企業がより迅速に創造、成長、スケールする能力を解き放ちます。
Cohere、CEO、Aidan Gomez 氏 -
Hugging Face
Hugging Face のミッションは、良質な ML を民主化することです。
ML のオープンソースコミュニティとして急成長している当社は現在、NLP、コンピュータビジョン、生物学、強化学習などのプラットフォーム上で、150,000 超の事前トレーニング済みモデルと 25,000 超のデータセットを提供しています。LLM と生成系 AI が大幅に進歩した今、私たちは AWS と協働して明日のオープンソースモデルを構築し、提供しています。Amazon SageMaker を介して、EFA を備えた UltraClusters で Amazon EC2 P5 インスタンスを大規模に使用し、すべてのユーザーのために新しい基盤 AI モデルの配信を加速できることを楽しみにしています。
Hugging Face、CTO 兼共同創設者、Julien Chaumond 氏
製品の詳細
インスタンスサイズ | vCPU | インスタンスメモリ (TiB) | GPU | GPU メモリ | ネットワーク帯域幅 (Gbps) | GPUDirect RDMA | GPU ピアツーピア | インスタンスストレージ (TB) | EBS 帯域幅 (Gbps) |
---|---|---|---|---|---|---|---|---|---|
p5.48xlarge | 192 | 2 | 8 H100 | 640 GB HBM3 |
3,200 Gbps EFA | はい | 900 GB/秒 NVSwitch | 8 x 3.84 NVMe SSD | 80 |
p5e.48xlarge | 192 | 2 | 8 H200 | 1,128 GB HBM3e |
3,200 Gbps EFA | はい | 900 GB/秒 NVSwitch | 8 x 3.84 NVMe SSD | 80 |
p5en.48xlarge | 192 | 2 | 8 H200 | 1128 GB HBM3e | 3,200 Gbps EFA | はい | 900 GB/秒 NVSwitch | 8 x 3.84 NVMe SSD | 100 |
ML の開始方法のユースケース
HPC の開始方法のユースケース
P5、P5e、および P5en インスタンスは、エンジニアリングシミュレーション、金融工学、地震分析、分子モデリング、ゲノミクス、レンダリング、および他の GPU ベースの HPC ワークロードを実行するための理想的なプラットフォームです。HPC アプリケーションでは、通常、高いネットワークパフォーマンス、高速ストレージ、大容量メモリ、高いコンピューティング性能が必要になります。3 つのインスタンスタイプはすべて、Message Passing Interface (MPI) を使用する HPC アプリケーションを数千の GPU に拡張できるようにする EFA をサポートしています。AWS Batch と AWS ParallelCluster により、HPC デベロッパーは分散型 HPC アプリケーションを迅速に構築およびスケールできます。
詳細を確認する