AWS Neuron が Trainium2 と NxD Inference のサポートを導入
本日、AWS は Neuron 2.21 のリリースを発表しました。AWS Trainium2 チップと Amazon EC2 Trn2 インスタンス (trn2.48xlarge インスタンスタイプを含む) と Trn2 UltraServer のサポートが導入されています。今回のリリースでは PyTorch 2.5 のサポートも追加され、NxD Inference と Neuron Profiler 2.0 (ベータ) が導入されました。NxD Inference は、vLLM と統合された PyTorch ベースの新しいライブラリであり、大規模な言語モデルやマルチモダリティモデルのデプロイを簡素化し、最小限のコード変更で PyTorch モデルのオンボーディングを可能にします。Neuron Profiler 2.0 (ベータ) は、分散ワークロードのサポートなど、機能と使いやすさを強化する新しいプロファイラーです。
Neuron 2.21 では、単一の trn2.48xlarge インスタンスで NxD Inference を使用する Llama 3.1 405B モデル推論サポートも導入されます。今回のリリースでは、Deep Learning Containers (DLC) と Deep Learning AMI (DLAMI) が更新され、Llama 3.2、Llama 3.3、Mixture-of-Experts (MoE) モデルなど、さまざまなモデルアーキテクチャのサポートが追加されています。新しい推論機能には、Transformers NeuronX (TNx) での投機的デコード用の FP8 重み量子化およびフラッシュデコードが含まれます。さらに、Trn2 インスタンスでの HuggingFace Llama 3/3.1 70B のサポートや、トレーニング後のモデルアライメントのための DPO サポートなど、新しいトレーニング例と特徴量が追加されました。
AWS Neuron SDK では、Trn1、Trn2、および Inf2 インスタンスでのモデルのトレーニングとデプロイがサポートされます。これらのインスタンスは、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または Savings Plan の一部として、AWS リージョンで利用できます。
Neuron 2.21 の新機能と拡張機能の全リストを確認して、Neuron を使い始めるには、以下を参照してください。