Amazon SageMaker Neo が Inferentia 2 と Trainium 1 のインスタンスについて PyTorch モデルと TensorFlow モデルのコンパイルをサポート

本日より、Amazon SageMaker Neo 用に PyTorch モデルと TensorFlow モデルをコンパイルする追加ターゲットとして、Inferentia 2 と Trainium 1 を選択できるようになりました。この Amazon SageMaker の機能を使うことで、機械学習 (ML) モデルを SageMaker での推論用に最適化し、精度を損なうことなくより高速に推論を実行することができます。Amazon Elastic Compute Cloud (Amazon EC2) Inf2 インスタンスは、大規模言語モデル (LLM) やビジョントランスフォーマーなどの生成系人工知能 (AI) モデル向けに、最小限のコストで高いパフォーマンスを実現します。AWS Trainium は、AWS が 1,000 億件以上のパラメータモデルの深層学習トレーニングを行うために専用に構築した機械学習 (ML) アクセラレーターです。

Inferentia 2 インスタンスは us-east-2 で、Trainium 1 インスタンスは us-east-1 で使用できます。コンソールで、ターゲットデバイスとして ml_inf2 または ml_trn1 を選択するだけで、すぐに使用開始できます。SDK を使用して Neo でモデルをコンパイルする場合は、出力設定の TargetDevice フィールドを ml_inf2 または ml_trn1 として設定します。サポートされているフレームワークは、PyTorch 1.13 と TensorFlow 2.10 です。詳細については、こちらを参照してください。

AWS Sagemaker Neo とコンソールの使用方法に関する詳細は、こちらのドキュメントを参照してください。使用を開始するには、Amazon SageMaker コンソールにログインします。