自定义您的 Amazon SageMaker 模型部署软件和驱动程序版本

发布于: 2024年9月25日

现在，在 SageMaker 上部署模型时，您可以选择实例使用的软件和驱动程序版本，以满足您的需求。借助 Amazon SageMaker，可以更轻松地部署 ML 模型，包括基础模型（FM），从而以最佳性价比对任何使用案例发出推理请求。

以前，客户必须在端点后面的托管实例上使用由 SageMaker 定义的预设软件和驱动程序版本。现在，客户可以在配置端点时指定“InferenceAmiVersion”参数，以选择最符合其要求的软件和驱动程序版本组合（例如 Nvidia 驱动程序和 CUDA 版本）。这样，您就可以定制自己的托管环境，以满足您的 ML 应用程序的性能、兼容性、可扩展性和操作要求。通过使用此参数，您还可以按照自己的计划降级和升级端点的驱动程序版本。

此功能在提供 SageMaker 的所有区域均可用。您可以在此处了解有关在 SageMaker 上部署模型的更多信息，也可以在我们的文档中详细了解这项功能。