Amazon EC2 Inf2 インスタンスが韓国で利用可能に
本日より、生成 AI 向けに最適化された Amazon Elastic Compute Cloud (Amazon EC2) Inf2 インスタンスの一般提供が AWS アジアパシフィック (ソウル) リージョンで開始されました。Amazon EC2 Inf2 インスタンスは、同等の Amazon EC2 インスタンスと比較して推論コストを最大 40% 削減します。
Inf2 インスタンスを使用すれば、テキスト要約、コード生成、動画や画像の生成、音声認識、パーソナライゼーションといった一般的なアプリケーションを実行できます。Inf2 インスタンスは、高速のノンブロッキング相互接続である NeuronLink でサポートされた、スケールアウト分散推論を実行する、Amazon EC2 で最初の推論最適化インスタンスです。Inf2 インスタンスは、最大で 2.3 ペタフロップスを実現し、帯域幅 9.8 TB/秒のアクセラレーターメモリ容量については最大で合計 384 GB を実現しています。
AWS Neuron SDK は一般的な機械学習フレームワークとネイティブに統合されるので、既存のフレームワークを引き続き使用しながら Inf2 でデプロイできます。デベロッパーは、Inf2 インスタンスの使用を、AWS Deep Learning AMI や AWS Deep Learning Containers から、あるいは、Amazon Elastic Container Service (Amazon ECS)、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon SageMaker などのマネージドサービスから始めることができます。
Inf2 インスタンスは、inf2.xlarge、inf2.8xlarge、inf2.24xlarge、inf2.48xlarge の 4 つのサイズで提供されるようになり、14 の AWS リージョンで、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または Savings Plans の一部としてご利用いただけます。
Inf2 インスタンスの詳細については、Amazon EC2 Inf2 インスタンスのウェブページと AWS Neuron のドキュメントを参照してください。