AWS Neuron SDK 2.29.0 現已提供結束測試版階段的 NKI 和 Neuron 瀏覽器、新的 CPU 模擬器和擴展的 NKI 程式庫
在本版本中，AWS Neuron SDK 2.29.0 將 Neuron Kernel Interface (NKI) 從測試版提升為穩定版本，版本為 0.3.0。NKI 可讓開發人員使用 Python 型語法，以直接、低層級程式設計的方式存取 AWS Trainium 和 AWS Inferentia NeuronCores。此版本導入了 NKI Standard Library，該程式庫可公開所有 NKI API 和原生語言物件的開發人員可見原始程式碼。此版本還包含一個新的 CPU 模擬器，可讓開發人員使用標準的 Python 偵錯工具，在標準 CPU 上本機編寫、測試和偵錯 NKI 核心，而無需 Trainium 硬體。NKI 0.3.0 還新增全新 ISA 級功能，包括專用指數指令，matmul 累積控制，Trn3 的 DMA 優先順序設定，以及可變長度的全對全集體通訊。
NKI 程式庫擴展了 7 個新的實驗核心，涵蓋 Conv1D、多層 Transformer 字符生成超級核心、Trainium2 的融合通信運算基本元以及動態拼接作業。現有的核心也獲得改進。Attention CTE 可擴展至更大的批次大小和序列長度，MLP 新增混合精準量化路徑，且 MoE TKG 導入了動態全專家演算法。
針對推論，NxD 推論透過針對 Qwen3 VL 和 Qwen2 VL 的最佳化改進視覺語言模型支援，包括文字模型序列平行性和視覺資料平行性。vLLM Neuron 外掛程式已更新至版本 0.5.0。
Neuron 的分析和偵錯工具套件 Neuron Explorer 也從測試版提升為穩定版本。系統追蹤檢視器現在支援用於多裝置設定檔分析的完整裝置小工具組，此工具可在 VS Code Extension Marketplace 上取得，以簡化安裝。如需完整版本詳細資訊，請參閱 AWS Neuron SDK 2.29.0 版本備註。
SDK 適用於支援 Inferentia 和 Trainium 執行個體的所有 AWS 區域。
進一步了解：