投稿日: Aug 9, 2023
本日より、Amazon Elastic Compute Cloud (Amazon EC2) の Inf2 インスタンスが、米国西部 (オレゴン) のリージョンで一般的に入手できるようになりました。このインスタンスは、Amazon EC2 の生成系 AI モデルで、最小のコストで高いパフォーマンスを実現します。
Inf2 インスタンスを使用すれば、テキスト要約、コード生成、動画や画像の生成、音声認識、パーソナライゼーションといった一般的なアプリケーションを実行できます。Inf2 インスタンスは、高速のノンブロッキング相互接続である NeuronLink でサポートされた、スケールアウト分散推論を実行する、Amazon EC2 で最初の推論最適化インスタンスです。Inf2 インスタンスは、最大で 2.3 ペタフロップスを実現し、帯域幅 9.8 TB/秒のアクセラレーターメモリ容量については最大で合計 384 GB を実現しています。Inf2 インスタンスは、他の同等の Amazon EC2 インスタンスに比べて、料金パフォーマンスが最大 40% 向上します。
AWS Neuron SDK は一般的な機械学習フレームワークとネイティブに統合されるので、既存のフレームワークを引き続き使用しながら Inf2 でデプロイできます。デベロッパーは、Inf2 インスタンスの使用を、AWS Deep Learning AMI や AWS Deep Learning Containers から、あるいは、Amazon Elastic Container Service (Amazon ECS)、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon SageMaker などのマネージドサービスから始めることができます。
Inf2 インスタンスは、inf2.xlarge、inf2.8xlarge、inf2.24xlarge、inf2.48xlarge の 4 つのサイズで提供されています。利用可能な AWS リージョンは米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン) です。オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または Savings Plans の一部として購入可能です。
Inf2 インスタンスの詳細については、Amazon EC2 Inf2 インスタンスのウェブページと AWS Neuron のドキュメントを参照してください。