发布于: Dec 1, 2021
Amazon SageMaker Serverless Inference 是一个新的推理选项，使您能够轻松部署机器学习模型进行推理，而不必配置或管理底层基础设施。在部署机器学习模型时，只需选择无服务器选项，Amazon SageMaker 就会根据推理请求的数量自动预置、扩展和关闭计算容量。使用 SageMaker Serverless Inference，您只需为运行推理代码的持续时间和处理的数据量付费，而无需为空闲时间付费。
Amazon SageMaker Serverless 非常适合具有间歇性或不可预测流量的应用程序。例如，工资单处理公司使用的 Chatbot 服务在月底会遇到查询增加的情况，而在该月的其余时间，流量是间歇性的。在这种情况下，为整个月调配实例的成本效益不高，因为您最终要为闲置期付费。Amazon SageMaker Serverless Inference 帮助解决这些类型的用例，它根据推理请求的数量自动扩展计算容量，而不需要您预先预测流量需求或管理扩展策略。此外，您只需为运行推断代码的计算时间（以毫秒为单位）和处理的数据量支付费用，因此对于具有间歇流量的工作负载，这是一个经济有效的选择。随着 SageMaker Serverless Inference 的引入，SageMaker 现在提供了四个推理选项，将可用的部署选项扩展到广泛的使用案例中。另外三个选择是：SageMaker Real-Time Inference 工作负载的低延迟需求（以毫秒为单位）、 SageMaker Batch Transform 对批量数据运行预测，以及 SageMaker Asynchronous Inference 大型有效负载或需要较长处理时间的推断。如需了解详情，请访问 Amazon SageMaker 部署网页。
您可以轻松通过控制台、AWS SDK 或 AWS Command Line Interface (CLI) 创建 SageMaker Inference 端点。关于如何开始的详细步骤，请参阅 SageMaker Serverless Inference 文档，其中还包括一个样本笔记本。有关定价信息，请参阅 SageMaker 定价页面。在美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、欧洲（爱尔兰）、亚太地区（东京）和亚太地区（悉尼）的预览版中可以找到 SageMaker Serverless Inference。