Amazon EC2 P4 インスタンス

クラウドでの機械学習トレーニングと HPC アプリケーションの最高のパフォーマンス

Amazon Elastic Compute Cloud (Amazon EC2) P4d インスタンスは、クラウドでの機械学習 (ML) トレーニングとハイパフォーマンスコンピューティング (HPC) アプリケーションのために最高のパフォーマンスを実現します。P4d インスタンスは最新の NVIDIA A100 Tensor Core GPU を搭載しており、業界トップクラスの高スループットかつ低レイテンシーのネットワークを実現します。これらのインスタンスは 400 Gbps のインスタンスネットワーキングをサポートします。P4d インスタンスは、機械学習モデルのトレーニングのコストを最大 60% 削減します。また、前世代の P3 および P3dn インスタンスと比較して深層学習モデルのパフォーマンスが平均 2.5 倍向上します。

Amazon EC2 P4d インスタンスは、クラウドで最高のパフォーマンスのコンピューティング、ネットワーキング、ストレージで構成される EC2 UltraClusters と呼ばれるハイパースケールクラスターにデプロイされます。各 EC2 UltraCluster は、世界で最も強力なスーパーコンピューターの 1 つです。これにより、お客様は最も複雑なマルチノード機械学習トレーニングと分散型 HPC ワークロードを実行できます。お客様は、機械学習または HPC プロジェクトのニーズに基づいて、EC2 UltraClusters で数個から数千個の NVIDIA A100 GPU に簡単にスケールできます。

研究者、データサイエンティスト、開発者は P4d インスタンスを使用して、自然言語処理、オブジェクトの検出と分類、レコメンデーションエンジンなどのユースケース向けに ML モデルをトレーニングできます。また、創薬、耐震分析、財務モデリングなどの HPC アプリケーションの実行にも使用できます。オンプレミスシステムとは異なり、お客様は、セットアップやメンテナンスに費用をかけずに、実質的に無制限のコンピューティングおよびストレージ容量にアクセスし、ビジネスニーズに基づいてインフラストラクチャをスケールし、マルチノード機械学習トレーニングジョブまたは緊密に結合された分散型 HPC アプリケーションを数分で起動できます。

新しい Amazon EC2 P4d インスタンスの発表 (2:00)

EC2 UltraClusters について質問はございますか? またはサポートが必要ですか?

ヘルプをリクエスト »

将来の使用に備えて P4d インスタンスを今すぐ予約しましょう

Amazon EC2 Capacity Blocks for ML では、P4d インスタンスを 8 週間前から事前に簡単に予約できます。P4d インスタンスは 1~14 日の期間に対して 1~64 インスタンス (512 GPU) のクラスターサイズで予約できるため、さまざまなワークロードを柔軟に実行できます。

EC2 P4d UltraClusters を使用したハイスケール機械学習トレーニングと HPC

P4d インスタンスの EC2 UltraClusters は、高性能コンピューティング、ネットワーキング、およびストレージを組み合わせて、世界で最も強力なスーパーコンピューターの 1 つになっています。P4d インスタンスの各 EC2 UltraCluster は、4,000 を超える最新の NVIDIA A100 GPU、ペタビットスケールのノンブロッキングネットワーキングインフラストラクチャ、および Amazon FSx for Lustre による高スループットの低レイテンシーストレージで構成されています。機械学習デベロッパー、研究者、またはデータサイエンティストは誰でも、EC2 UltraClusters で P4d インスタンスを起動して、従量制料金の使用モデルでスーパーコンピュータークラスのパフォーマンスを利用し、最も複雑なマルチノード機械学習トレーニングと HPC ワークロードを実行できます。

EC2 UltraClusters に関する質問や支援が必要な場合は、ヘルプをリクエストしてください

一部の AWS リージョンでのみご利用いただけます。サポートされているリージョンの詳細、および EC2 UltraCluster に関する追加情報については、お問い合わせください

メリット

機械学習トレーニング時間を数日から数分に短縮

最新世代の NVIDIA A100 Tensor Core GPU を使用すると、各 Amazon EC2 P4d インスタンスは、前世代の P3 インスタンスと比較して平均 2.5 倍優れた深層学習パフォーマンスを実現します。P4d インスタンスの EC2 UltraClusters により、デベロッパー、データサイエンティスト、研究者は、初期費用や長期的なコミットメントなしでスーパーコンピューティングクラスのパフォーマンスを日常的に利用して、最も複雑な機械学習および HPC ワークロードを実行できます。P4d インスタンスによるトレーニング時間の短縮により生産性が向上し、デベロッパーは機械学習インテリジェンスをビジネスアプリケーションに組み込むというコアミッションに集中できます。

最も複雑なマルチノード機械学習トレーニングを高効率で実行する

デベロッパーは、P4d インスタンスの EC2 UltraClusters を使用して、最大数千の GPU にシームレスに拡張できます。400 Gbps インスタンスネットワーキング、Elastic Fabric Adapter (EFA)、および GPUDirect RDMA テクノロジーをサポートする高スループット、低レイテンシーのネットワーキングは、スケールアウト/分散技術を使用して機械学習モデルを迅速にトレーニングするのに役立ちます。Elastic Fabric Adapter (EFA) は、NVIDIA Collective Communications Library (NCCL) を使用して数千の GPU に拡張し、GPUDirect RDMA テクノロジーにより、P4d インスタンス間の低レイテンシー GPU 間通信が可能になります。

機械学習トレーニングと HPC のインフラストラクチャコストを削減

Amazon EC2 P4d インスタンスは、P3 インスタンスと比較して機械学習モデルのトレーニングコストを最大 60% 削減します。さらに、P4d インスタンスはスポットインスタンスとして購入できます。スポットインスタンスは、未使用の EC2 インスタンスの容量を活用することで、Amazon EC2 のコストをオンデマンド料金の最大 90% まで節約できます。P4d インスタンスでの機械学習トレーニングのコストが低いため、予算を再割り当てして、より多くの機械学習インテリジェンスをビジネスアプリケーションに組み込むことができます。

AWS のサービスを簡単に開始してスケールできます

AWS Deep Learning AMI (DLAMI)と Deep Learning コンテナには、必要な深層学習フレームワークライブラリとツールが含まれているため、P4d 深層学習環境を数分で簡単にデプロイできます。画像に独自のライブラリやツールを簡単に追加することもできます。P4d インスタンスは、TensorFlow、PyTorch、MXNet などの一般的な機械学習フレームワークをサポートしています。さらに、P4d インスタンスは、Amazon SageMaker、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、AWS Batch、AWS ParallelCluster など、機械学習、管理、オーケストレーション向けの主要な AWS のサービスでサポートされています。

特徴

NVIDIA A100 Tensor Core GPU を搭載

NVIDIA A100 Tensor Core GPU は、機械学習およびハイパフォーマンスコンピューティング (HPC) 向けの高速化を前例のない規模で実現しています。NVIDIA A100 の第 3 世代 Tensor Core は、あらゆる精密ワークロードを加速し、インサイトを取得するまでの時間と市場投入までの時間を短縮します。各 A100 GPU は、前世代の V100 GPU と比較して 2.5 倍を超えるコンピューティングパフォーマンスを実現し、40GB HBM2 (P4d インスタンス) または 80GB HBM2e (P4de インスタンス) の高性能 GPU メモリを搭載しています。より高い GPU メモリは、高解像度の大規模なデータセットでトレーニングするワークロードに特に利点があります。NVIDIA A100 GPU は、NVSwitch GPU 相互接続スループットを活用するため、各 GPU は、同じ 600GB/秒の双方向スループットとシングルホップレイテンシーで同じインスタンス内の他のすべての GPU と通信できます。

高性能ネットワーク

P4d インスタンスは 400 Gbps ネットワーキングを提供し、P4d インスタンス間、および P4d インスタンスと Amazon Simple Storage Service (Amazon S3) や FSx for Lustre などのストレージサービス間のハイスループットネットワーキングにより、マルチノードトレーニングなどの分散型ワークロードをより効率的にスケールアウトできるようにします。Elastic Fabric Adapter (EFA) は、AWS が設計したカスタムネットワークインターフェイスであり、機械学習および HPC アプリケーションを数千の GPU に拡張するのに役立ちます。レイテンシーをさらに削減するために、EFA は NVIDIA GPUDirect RDMA と組み合わせて、OS バイパスを使用してサーバー間の低レイテンシーの GPU 間通信を可能にします。

高スループット、低レイテンシのストレージ

お客様は、FSx for Lustre による PetaByte スケールの高スループット、低レイテンシーのストレージ、または 400 Gbps の速度で Amazon S3 を使用した実質的に無制限の費用効果の高いストレージにアクセスできます。大規模なデータセットへの高速アクセスが必要なワークロードの場合、各 P4d インスタンスには、16 ギガバイト/秒の読み取りスループットを備えた 8 TB NVMe ベースの SSD ストレージも含まれています。

AWS Nitro System をベースに構築

P4d インスタンスは AWS Nitro System 上で構築されています。これは構築ブロックを豊富に取り揃えており、従来の仮想化機能の多くを専用のハードウェアとソフトウェアにオフロードして、仮想化のオーバーヘッドを削減しながら、高いパフォーマンス、可用性、セキュリティを実現します。

お客様事例

2015 年に設立されたトヨタ・リサーチ・インスティチュート (TRI) は、トヨタ向けの自動運転、ロボット工学、その他の知能増幅技術の開発に取り組んでいます。

「TRI では、誰もが自由に移動できる未来を築くために取り組んでいます。「前世代の P3 インスタンスは、機械学習モデルのトレーニング時間を数日から数時間に短縮するのに役立ちました。追加の GPU メモリとより効率的なフロートフォーマットにより、機械学習チームはより複雑なモデルをさらに高速にトレーニングできるため、P4d インスタンスの利用を楽しみにしています。」

TRI インフラストラクチャエンジニアリング担当テクニカルリード、マイク・ギャリソン

「TRI-AD では、アダプティブドライビングとスマートシティを利用して、車両の負傷者と死亡者を減らすことに重点を置き、誰もが自由に移動して探索できる未来を築くために取り組んでいます。Amazon EC2 P4d インスタンスを使用することで、既存のコードを変更することなく、オブジェクト認識のトレーニング時間を前世代の GPU インスタンスと比較して 40% 短縮することができました」と TRI-AD の自動運転 (認識) ディレクターであるイナダジュンヤ氏は述べています。

TRI-AD 自動運転 (認識) 担当ディレクター稲田純也氏

TRI-AD のインフラストラクチャエンジニアリングのシニアディレクターである Jack Yan 氏は、次のように述べています。「Amazon EC2 P4d インスタンスを使用することで、前世代の GPU インスタンスと比較してトレーニングのコストを即座に削減でき、モデルトレーニングに取り組むチームの数を増やすことができました。P4d のネットワークの改善により、数十のインスタンスに効率的に拡張できるようになりました。これにより俊敏性が大幅に向上し、テストカーやシミュレーション環境でモデルを迅速に最適化、再トレーニング、デプロイしてさらにテストを行えるようになりました。」

TRI-AD インフラストラクチャエンジニアリング担当シニアディレクター、ジャック・ヤン氏

GE Healthcare は、世界をリードする医療技術およびデジタルソリューションの革新者です。GE Healthcare により、臨床医は、Edison インテリジェンスプラットフォームでサポートされているインテリジェントデバイス、データ分析、アプリケーション、およびサービスを利用して、より迅速で情報に基づいた意思決定を行うことができます。

「GE Healthcare では、データを集約し、AI と分析をそのデータに適用して、患者の転帰を改善し、効率を高め、エラーをなくすインサイトを発見するのに役立つツールを臨床医に提供しています」と、人工知能の VP 兼 GM である Karley Yoder は述べています。「当社の医用画像装置は大量のデータを生成し、データサイエンティストによる処理が必要です。以前の GPU クラスターでは、Progressive GAN などの複雑な AI モデルをシミュレーション用にトレーニングし、結果を確認するのに数日かかりました。新しい P4d インスタンスを使用すると、処理時間が数日から数時間に短縮されました。さまざまな画像サイズのモデルのトレーニングが 2〜3 倍高速化した一方、バッチサイズを大きくなってパフォーマンスが向上し、モデル開発サイクルが速くなって生産性が向上しました。」

カーリー・ヨーダー、GM ヘルスケア人工知能担当副社長兼ゼネラルマネージャー

HEAVY.AI は、高速分析のパイオニアです。HEAVY.AI プラットフォームは、主流の分析ツールの限界を超えてデータのインサイトを見つけるために、企業や政府で利用されています。

「HEAVY.AI では、データサイエンスと分析が交わってデータサイロを破壊し融合する未来を築くために取り組んでいます。顧客は、場所や時間を含む膨大な量のデータを活用して、何が起こっているのかだけでなく、時空間データの詳細な視覚化を通じて、いつ、どこで起こっているのかを完全に把握できます。私たちの技術は森と木の両方を見ることを可能にします。「Amazon EC2 P4d インスタンスを使用することで、前世代の GPU インスタンスと比較して、プラットフォームをデプロイするためのコストを大幅に削減できたため、大規模なデータセットをコスト効率よくスケーリングできました。A100 のネットワークの改善により、数十億行のデータへの拡張方法の効率が向上し、お客様はインサイトをさらに迅速に収集できるようになりました。」

レイ・ファルシオーネ、米国公共部門担当副社長、HEAVY.AI

Zenotech Ltd は、HPC クラウドを使用してエンジニアリングをオンラインで再定義し、GPU を活用することで、オンデマンドのライセンスモデルを実現し、パフォーマンスを大幅に向上させています。

「Zenotech では、設計者がより効率的で環境に優しい製品を作成できるようにするツールを開発しています。当社はさまざまな業界で働いており、当社のツールは大規模なシミュレーションを使用することで、より優れた製品パフォーマンスのインサイトを提供しています」と Zenotech のディレクターである Jamil Appa 氏は言います。「AWS P4d インスタンスを使用することで、前世代の GPU と比較して 3.5 倍高速にシミュレーションを実行できます。このスピードアップにより、解決にかかる時間が大幅に短縮され、顧客は以前よりも早く設計を市場に投入したり、より忠実なシミュレーションを実行したりできるようになります。」

ジャミル・アパ、ゼノテック取締役兼共同創設者

Aon は、幅広いリスク、退職、健康ソリューションを提供する世界有数の専門サービス会社です。Aon PathWise は、GPU ベースのスケーラブルな HPC リスク管理ソリューションです。保険会社と再保険会社、銀行、年金基金はこのソリューションを利用して、ヘッジ戦略のテスト、規制と経済の予測、予算編成などの今日直面している主要な課題に対処できます。 

「PathWise Solutions Group LLC の製品により、保険会社、再保険会社、年金基金は次世代テクノロジーにアクセスして、機械学習、ヘッジ戦略テスト、規制および財務報告、事業計画、経済予測、新製品の開発、料金設定など、今日直面している主要な保険の課題を迅速に解決できます」と、PathWise Solutions Group の社長兼 CEO である Peter Phillips 氏は述べています。「Amazon EC2 P4d インスタンスを使用することで、前世代の GPU インスタンスと比較して、最も要求の厳しい計算において単精度および倍精度の計算速度が驚くほど向上しました。これにより、クライアントは新しい範囲の計算と予測を初めて実行できるようになりました。スピードが重要です。AWS の新しいインスタンスのおかげで、顧客に有意義な価値と最新のテクノロジーを提供し続けています」と Phillips 氏は述べています。」

PathWise Solutions Group - 社長兼 CEO、Peter Phillips 氏

放射線科と AI の専門家で構成される Rad AI は、放射線科医の生産性を最大化する製品を構築し、最終的に医療をより広く利用できるようにし、患者の転帰を改善しています。

「Rad AI の使命は、すべての人の医療へのアクセスと質を高めることです。医用画像ワークフローに重点を置くことで、Rad AI は放射線科医の時間を節約し、疲弊を減らし、精度を高めています」と Rad AI の共同創設者である Doktor Gurson 氏は述べています。「当社は、AI を使用して放射線医療のワークフローを自動化し、放射線医療に関するレポートの合理化を支援しています。新しい EC2 P4d インスタンスでは、前世代の P3 インスタンスよりも高い精度で、推論が高速になり、モデルを 2.4 倍高速にトレーニングできるようになりました。これにより、より速く、より正確な診断が可能になり、米国全土の顧客が提供する高品質の放射線サービスが利用しやすくなります。」

Rad AI 共同創設者、ドクター・ガーソン

詳細については、導入事例をお読みください »

製品の詳細

インスタンスサイズ vCPU インスタンスメモリ (GiB) GPU – A100 GPU メモリ ネットワーク帯域幅 (Gbps) GPUDirect RDMA GPU ピアツーピア インスタンスストレージ (GB) EBS 帯域幅 (Gbps) オンデマンド料金/時間 1 年間のリザーブドインスタンスの実質的時間単価 * 3 年間のリザーブドインスタンスの実質的時間単価 *
p4d.24xlarge 96 1152 8 320 GB
HBM2
400 ENA および EFA はい 600GB/秒 NVSwitch 8 × 1000 NVMe SSD 19 32.77 USD 19.22 USD 11.57 USD
p4de.24xlarge (プレビュー) 96 1152 8 640 GB
HBM2e
400 ENA および EFA はい 600GB/秒 NVSwitch 8 × 1000 NVMe SSD 19 40.96 USD 24.01 USD 14.46 USD
* – 提示されている料金は、米国東部 (バージニア北部) AWS リージョン内で使用される Linux/Unix に対する料金で、1 セント未満は四捨五入しています。すべての価格詳細を確認するには、 Amazon EC2 料金ページを参照してください。

P4d インスタンスは、AWS の米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン)、アジアパシフィック (ムンバイ、東京)、欧州 (フランクフルト、アイルランド) の各リージョンでご利用いただけるようになりました。P4de インスタンスが、AWS 米国東部 (バージニア北部) および米国西部 (オレゴン) リージョンでご利用いただけるようになりました。

P4d インスタンスおよび P4de インスタンスは、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンス、専有ホスト、または Savings Plan の一部としてご購入いただけます。

ML 用 P4d インスタンス入門

Amazon SageMaker の使用

Amazon SageMaker は、機械学習モデルを構築、トレーニング、デプロイするフルマネージドサービスです。Amazon EC2 P4d インスタンスと一緒に使用することで、数十、数百、数千の GPU に簡単にスケールし、あらゆる規模でモデルを迅速にトレーニングできます。クラスターやデータパイプラインを設定する必要はありません。

DLAMI または深層学習コンテナの使用

DLAMIでは械学習の専門家と研究者がクラウド上であらゆる規模の深層学習を加速させるためのインフラストラクチャとツールを提供しています。 AWS 深層学習コンテナ は、深層学習フレームワークがプリインストールされた Docker イメージです。環境の構築と最適化をゼロから行う面倒なプロセスをスキップして、カスタムの機械学習環境をすばやく簡単にデプロイできます。

アマゾン EKS またはアマゾン ECS を使用する

コンテナオーケストレーションサービスを介して独自のコンテナ化されたワークロードを管理することを好むお客様は、 Amazon EKS または Amazon ECSを使用して P4d インスタンスをデプロイできます。

HPC 用 P4d インスタンス入門

P4d インスタンスは、エンジニアリングシミュレーション、金融工学、地震分析、分子モデリング、ゲノミクス、レンダリングやその他の GPU ベースの HPC コンピューティングワークロードを実行するための理想的なプラットフォームです。HPC アプリケーションでは、通常、高いネットワークパフォーマンス、高速ストレージ、大容量メモリ、高いコンピューティング性能が必要になります。P4d インスタンスは EFA をサポートしています。これにより、Message Passing Interface (MPI) を使用する HPC アプリケーションを数千の GPU にスケールできます。AWS Batch と AWS ParallelCluster により、HPC デベロッパーは分散型 HPC アプリケーションを迅速に構築およびスケールできます。

詳細 »

ブログ投稿と記事

 
Amr Ragab 
2020 年 11 月 2 日

その他のリソース

P4d インスタンスの Amazon EC2 UltraCluster (1:59)
Amazon EC2 P4d と P3 の比較: 自然言語処理 (0:34)
Amazon EC2 P4d と P3 の比較: 文字起こし (0:33)
Amazon EC2 P4d と P3 の比較: 画像分類 (0:37)

AWS の使用を開始する

AWS アカウントにサインアップする

AWS アカウントにサインアップする

AWS 無料利用枠をすぐに利用できます。

簡単なチュートリアルで学ぶ

10 分間のチュートリアルで学ぶ

簡単なチュートリアルで学びましょう。

コンソールの EC2 で構築を開始する

コンソールで構築を開始する

お客様の AWS でのプロジェクトを開始するのに役立つステップバイステップガイドを使って構築を開始しましょう。