Amazon EC2 UltraServers

大規模な AI トレーニングと推論

Amazon EC2 UltraServers を利用すべき理由

Amazon Elastic Compute Cloud (Amazon EC2) UltraServers は、1 兆パラメータスケールのモデルに対して最高の AI トレーニングと推論パフォーマンスを求めるお客様に最適です。UltraServers は、専用の高帯域幅、低レイテンシーのアクセラレーターインターコネクトを使用して複数の EC2 インスタンスを接続します。これにより、EC2 インスタンス全体で緊密に結合されたアクセラレーターを活用でき、スタンドアロン EC2 インスタンスよりもはるかに多くのコンピューティングとメモリにアクセスできます。

EC2 UltraServers は、スタンドアロンの EC2 インスタンスが提供できるよりも多くのメモリとメモリ帯域幅を必要とする大規模モデルに最適です。UltraServer の設計では、インスタンス内アクセラレーター接続を使用して複数のインスタンスを 1 つのノードに接続し、新しい機能を引き出します。推論に関しては、UltraServers は業界トップクラスの応答時間を実現し、最高のリアルタイム体験を実現するのに役立ちます。トレーニングに関しては、UltraServers はスタンドアロンインスタンスと比較して、モデルの並列処理のための集団通信が高速になるため、モデルトレーニングの速度と効率が向上します。EC2 UltraServers は EFA ネットワーキングをサポートしており、EC2 UltraClusters にデプロイすると、単一ペタビット規模のノンブロッキングネットワーク上の数万のアクセラレーターにわたってスケールアウト分散トレーニングを行うことができます。UltraServers は、トレーニングと推論の両方でより高いパフォーマンスを提供することで、市場投入までの時間を短縮し、最もパフォーマンスの高い次世代の基盤モデルを搭載したリアルタイムアプリケーションの提供を支援します。

利点

特徴

サポート対象インスタンス

Trn2 インスタンス

AWS Trainium2 チップを搭載した、Trn2 UltraServer 設定の Trn2 インスタンス (プレビュー版で利用可能) では、AWS AI チップ専用の高帯域幅、低レイテンシー相互接続である NeuronLink に接続して、最大 64 個の Trainium2 チップまでスケールできます。Trn2 UltraServers は Amazon EC2 で生成 AI トレーニングと推論において画期的なパフォーマンスを提供します。

詳細を確認する