AWS Neuron 正式推出 NxD Inference GA、新功能和經過改善的工具
AWS 今日宣佈推出 Neuron 2.23 版，其中包含跨推論、訓練功能和開發人員工具的增強功能。此版本將 NxD 推論庫 (NxDI) 移至正式推出 (GA) 階段、導入新的訓練功能 (包括內容平行處理和 ORPO)，並新增對 PyTorch 2.6 和 JAX 0.5.3 的支援。
NxD 推論庫從測試版移至正式推出階段，而且現在是所有多晶片推論使用案例的建議解決方案。主要增強功能包括持續快取支援，能夠縮短編譯時間並最佳化模型載入時間。
對於訓練工作負載，NxD 訓練庫為 Llama 模型導入了內容平行處理支援 (測試版)，支援最高 32K 的序列。該版本新增對於使用 ORPO 與 DPO 樣式資料集進行模型調整的支援、對第三方程式庫的升級支援 (尤其適用於：PyTorch Lightning 2.5、Transformers 4.48 和 NeMo 2.1)。
Neuron Kernel Interface (NKI) 導入了新的 32 位元整數操作、Trainium2 的改進型 ISA 功能，以及新的效能調整 API。Neuron Profiler 現在可透過 Perfetto，將設定檔結果檢視、時間表型錯誤追蹤作業的速度加快至 5 倍，並提供改進型多流程視覺化功能。
AWS Neuron SDK 在 Trn1、Trn2 和 Inf2 執行個體上支援訓練和部署模型，這些執行個體在 AWS 區域中以隨需執行個體、預留執行個體、Spot 執行個體或 Savings Plan 的一部分提供。
如需 Neuron 2.23 中的新功能和增強功能完整清單，以及如何開始使用 Neuron，請參閱：