自訂您的 Amazon SageMaker 模型部署軟體和驅動程式版本

張貼日期: 2024年9月25日

現在，您可以在 SageMaker 上部署模型時，選擇用於執行個體且最符合自身需求的軟體和驅動程式版本。Amazon SageMaker 能以更輕鬆的方式部署 ML 模型 (包括基礎模型 (FM) 在內)，針對任何使用案例以最優惠的價格效能比提出推論請求。

先前，客戶必須在端點後方的受管執行個體上使用 SageMaker 定義的預設軟體和驅動程式版本。客戶現在可以在設定端點時指定「InferenceAmiVersion」參數，進而選擇最符合其需求的軟體和驅動程式版本 (例如 Nvidia 驅動程式和 CUDA 版本) 組合。這可讓您量身定制託管環境，以滿足 ML 應用程式的效能、相容性、可擴展性和操作需求。透過使用此參數，您也可以按照自己的排程來降級和升級端點的驅動程式版本。

此功能在所有提供 SageMaker 的區域皆可使用。您可以在此處進一步了解在 SageMaker 上部署模型的資訊，並在我們的文件中進一步了解此功能。