发布于: Mar 4, 2022
Amazon SageMaker 无服务器推理和异步推理现在支持 Amazon SageMaker Python 开发工具包，其中提取了部署所需的步骤，从而简化了模型部署工作流程。SageMaker Python 开发工具包是一个开源的库，可用于在 Amazon SageMaker 上部署机器学习模型。您可以使用任何一个经优化的机器学习框架、SageMaker 支持的第一方算法，或自己的模型来利用 Python 开发工具包完成部署。
SageMaker 提供多个推理选项，例如实时推理、无服务器推理（预览版）、异步推理和批量转换，以便您挑选适合工作负载的选项。SageMaker Python 开发工具包已支持实时推理和批量转换。添加对无服务器推理（预览版）和异步推理的支持后，您可以在所有推理选项中使用相同的 Python 开发工具包 API 方法。您现在可以在 AWS 管理控制台、AWS Boto3 开发工具包、AWS CLI 和 Python 开发工具包中选择如何进行模型部署。
您可以将有效负载与请求一起内联传送，从而通过 Python 开发工具包调用异步推理端点。SageMaker 开发工具包会将有效负载上传至您的 S3 存储桶，并替您调用端点。Python 开发工具包也支持定期检查并在结束时返回推理结果。