AWS Neuron 2.24 的新功能包括 PyTorch 2.7 和推論增強功能
張貼日期:
2025年7月2日
今天，AWS 宣布 Neuron 2.24 全面上市，為在 AWS Inferentia 和 Trainium 執行個體上建置及部署深度學習模型的客戶，帶來新功能和效能提升。Neuron 2.24 引進對 PyTorch 2.7 的支援、增強推論功能，並擴展了與流行機器學習框架的相容性。這些更新有助於開發人員和資料科學家加速模型訓練與推論、提升效率，並簡化大型語言模型及其他 AI 工作負載的部署。
藉由 Neuron 2.24，客戶可以利用多種進階推論功能。例如，透過前綴快取縮短第一個字符時間 (TTFT)、運用解耦推論減少預填充到解碼之間的干擾，以及使用內容平行處理來提升長序列的效能。這個版本也支援 Qwen 2.5 文字模型，並改進了與 Hugging Face Optimum Neuron 和基於 PyTorch 的 NxD Core 後端的整合。
Neuron 2.24 適用於所有提供 Inferentia 和 Trainium 執行個體的 AWS 區域。
若要進一步了解並瀏覽全新功能和增強功能完整清單，請參閱：