AWS Neuron 2.31.0 が NKI 0.5.0 および UltraServer Operator とともに利用可能に
AWS Neuron 2.31.0 が利用可能になりました。これに伴い、新しい MX FP8 スケール dtype のサポート、コンピューティングオペレーションにおけるテンソル間接参照によるインデックス付きアクセスパターンの命令数の削減、コストゼロのテンソルレイアウト変換を実現する新しい NkiTensor ビュー API を備えた NKI 0.5.0 が導入されました。このリリースでは、Amazon EKS 用の Neuron UltraServer Operator もパブリックベータ版として導入されました。これにより、Amazon EKS 上の Trainium UltraServer ワークロードに対する UltraServer の検出、ワークロードの割り当て、リソース要求の生成が自動化されます。
Neuron コンパイラには再設計されたコード生成バックエンドが含まれており、Trn2 と Trn3 でデフォルトで有効になったことで、パフォーマンスが向上しました。Neuron ランタイムには連続した共有スクラッチパッドのサポートが追加されており、スクラッチパッドのページサイズを手動で設定する必要がなくなるため、デバイス構成が簡素化されます。NKI ライブラリには、MoE トレーニング集合通信、変形可能なアテンション、DeepSeek MLA プロジェクション、リングアテンションをカバーする 14 の新しい実験カーネルが、PyTorch のリファレンス実装とともに追加されています。Neuron Explorer には System Trace Viewer のソースコードリンクが追加され、デフォルトのグループ化が更新されたことでワークロードのデバッグが向上しています。
使用を開始するには、以下のリソースを参照してください。
AWS Neuron は、Amazon EC2 Trn1、Trn2、Trn3、Inf2、Inf1 インスタンスが提供されているすべての AWS リージョンで利用できます。利用できるリージョンの詳細については、AWS リージョン表をご覧ください。