AWS Neuron SDK 2.29.0 が NKI と Neuron Explorer (ベータ終了)、新しい CPU シミュレータ、拡張された NKI ライブラリに対応
このリリースでは、AWS Neuron SDK 2.29.0 により、Neuron Kernel Interface (NKI) がバージョン 0.3.0 でベータ版から安定版に昇格しました。NKI では、開発者が Python ベースの構文を使用して AWS Trainium と AWS Inferentia NeuronCore に直接、低レベルのプログラミングアクセスできるようになります。このリリースでは、すべての NKI API とネイティブ言語オブジェクト用に開発者から見えるソースコードを公開する NKI 標準ライブラリが導入されました。また、開発者が標準の Python デバッグツールを使用して、Trainium ハードウェアを必要とせずに標準 CPU 上で NKI カーネルをローカルに記述、テスト、デバッグできる新しい CPU シミュレータも含まれています。NKI 0.3.0 には、専用の指数命令、matmul 累積制御、Trn3 の DMA 優先度設定、可変長の all-to-all collective など、ISA レベルの新しい機能も追加されています。
NKI ライブラリは、Conv1D、マルチレイヤーのTransformer トークン生成メガカーネル、Trainium2 用の融合通信計算プリミティブ、および動的タイリング操作を含む 7 つの新しい実験カーネルで拡張されています。既存のカーネルにも改善が加えられています。Attention CTE はより大きなバッチサイズとシーケンス長に合わせて拡張し、MLP は混合精度の量子化経路を追加し、MoE TKG は動的な all-expert アルゴリズムを導入しています。
推論面では、NxD Inference が、テキストモデルのシーケンス並列やビジョンデータ並列を含めて、Qwen3 VL と Qwen2 VL の最適化により視覚言語モデルのサポートを改善しました。vLLM Neuron Plugin はバージョン 0.5.0 に更新されました。
Neuron のプロファイリングおよびデバッグツールスイートである Neuron Explorer も、ベータ版から安定版に移行しました。System Trace Viewer は、マルチデバイスプロファイル分析用の Device ウィジェットのフルセットをサポートするようになりました。また、このツールは VS Code 拡張マーケットプレイスで入手できるため、インストールが簡単になります。リリースの詳細については、AWS Neuron SDK 2.29.0 リリースノートを参照してください。
SDK は、Inferentia インスタンスと Trainium インスタンスをサポートするすべての AWS リージョンでご利用いただけます。
詳細はこちら: