投稿日: Oct 27, 2023
AWS Neuron は、生成系 AI 向けに構築された Amazon EC2 Inferentia および Trainium ベースのインスタンス用の SDK です。本日、Neuron 2.15 のリリースに伴い、Llama-2 70b モデルのトレーニングのサポートおよび PyTorch 2.0 のサポートを発表いたします。
Neuron は PyTorch や TensorFlow などの一般的な ML フレームワークと統合されているため、ベンダー固有のソリューションを必要とせずに、最小限のコード変更で開始できます。Neuron には、Trn1 インスタンスでの生成系 AI モデルの高性能トレーニングと Inf2 インスタンスでの推論をサポートするコンパイラ、ランタイム、プロファイリングツール、ライブラリが含まれています。このリリースでは、Neuron Distributed ライブラリによる Llama-2 70b モデルのトレーニングサポートが追加され、PyTorch 2.0 のベータ版サポートが追加されています。
AWS Neuron SDK を使用して、Trn1 と Inf2 のインスタンスでモデルをトレーニングおよびデプロイできます。これらのインスタンスは、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または Savings Plan の一部として、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ) の AWS リージョンで利用できます。
Neuron 2.15 の新機能や機能強化の全リストについては、Neuron リリースノートをご覧ください。Neuron を使い始めるには、以下を参照してください。