投稿日: Aug 29, 2023
AWS Neuron は、生成系 AI 向けに構築された Amazon EC2 Inferentia および Trainium ベースのインスタンス用の SDK です。 本日、Neuron 2.13 のリリースに伴い、Llama 2 のモデルトレーニングと推論、GPT-NeoX のモデルトレーニングのサポートを開始し、Stable Diffusion XL と CLIP モデルの推論のサポートを追加します。
Neuron は PyTorch や TensorFlow などの一般的な ML フレームワークと統合されているため、ベンダー固有のソリューションを必要とせずに、最小限のコード変更で開始できます。Neuron には、Trn1 インスタンスでの生成系 AI モデルの高性能トレーニングと Inf2 インスタンスでの推論をサポートするコンパイラ、ランタイム、プロファイリングツール、およびライブラリが含まれています。Neuron 2.13 では、Llama 2 や GPT-3 などの LLM の分散トレーニングをサポートする AWS Neuron Reference for Nemo Megatron ライブラリが導入され、Neuron Distributed ライブラリによる GPT-NeoX モデルトレーニングのサポートが追加されました。このリリースでは、Transformers Neuron ライブラリによる Llama 2 の最適化された LLM 推論サポートと、PyTorch Neuron を使用した SDXL、Perceiver、CLIP モデルの推論のサポートが追加されています。
AWS Neuron SDK を使用して、Trn1 および Inf2 インスタンスでモデルをトレーニングおよびデプロイできます。これらのインスタンスは、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または Savings Plan の一部として、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ) の AWS リージョンで利用できます。
Neuron 2.13 の新機能や機能強化の全リストについては、Neuron リリースノートをご覧ください。Neuron を使い始めるには、以下を参照してください。