AWS Neuron 2.32 が NKI プログラミングの拡張、MXFP8 トレーニングカーネル、Trn2 および Trn3 向けの可変サイズの集合通信を導入
AWS Neuron 2.32.0 の提供が開始されました。このリリースでは NKI 0.6.0 が導入され、オンデバイスの top-K 命令、ランクごとにサイズの異なるテンソルを保持するカーネルに対応した可変長の all-gather、データ依存のイテレーションに対応した新しいループ構文が追加されました。
さらに、Mixture of Experts (MoE) のトレーニングとスパースアテンションに対応した 13 個の新しい NKI ライブラリカーネルと、トランスフォーマーモデルを vLLM Neuron プラグインに移植する新しい Neuron Agentic Development スキルが導入されました。NKI ライブラリカーネルには、DeepSeek-V3.2 のスパースマルチヘッド潜在アテンション向けのコンテキストエンコーディング、デコードステップ向けの MXFP8 アテンション、順伝播と逆伝播を MXFP8 でそろえた実装 (これにより、ブロック単位の MoE レイヤーを MXFP8 のままエンドツーエンドでトレーニング可能) が含まれます。このほか、22 個のカーネルについては PyTorch のリファレンス実装が提供されます。
Neuron Runtime では、可変サイズの all-gather、reduce-scatter、all-to-all の各集合通信が Trn2 および Trn3 で利用できるようになりました。これにより、ランクごとに異なる数の要素を送受信できます。vLLM Neuron プラグインは vLLM 0.24.0 に対応しました。このプラグインは Neuron Deep Learning AMI と Deep Learning Containers のすべてに含まれています。Neuron Compiler には 64 ビット整数のコンパイルを明示的に制御する機能が追加され、Neuron Explorer には System Trace Viewer にコアごとのホスト CPU 使用率が追加されました。
AWS Neuron は、Amazon EC2 Trn1、Trn2、Trn3、Inf2、Inf1 インスタンスが提供されているすべての AWS リージョンで利用できます。利用できるリージョンの詳細については、AWS リージョン表をご覧ください。
使用を開始するには、以下のリソースを参照してください。