亚马逊AWS官方博客

Category: Artificial Intelligence

Amazon SageMaker 无服务器推理 – 无需担心服务器配置的机器学习推理

2021 年 12 月,我们在 Amazon SageMaker 中推出了 Amazon SageMaker 无服务器推理(预览版),作为新的选项来部署机器学习 (ML) 模型进行推理,而无需配置或管理底层基础设施。今天,我很高兴地宣布,Amazon SageMaker 无服务器推理现已正式推出 (GA)。 不同的机器学习推理使用案例对模型托管基础设施提出了不同的要求。如果处理广告投放、欺诈侦测或个性化产品推荐等使用案例,则很可能需要响应时间短至几毫秒的 API 式在线推理。如果使用大型机器学习模型(例如在计算机视觉 (CV) 应用程序中),则可能需要经过优化的基础设施,以便在几分钟内针对较大的有效负载运行推理。如果要针对整个数据集或更大批次的数据运行预测,则可能需要按需运行一次性批量推理作业,而不是托管模型服务端点。如果您的应用程序具有间歇性流量模式,例如聊天机器人服务或用于处理表单或分析文档中数据的应用程序,该怎么办? 在这种情况下,可能需要在线推理选项,其能够根据推理请求量自动预置和扩展计算容量。在空闲期间,它应该能够完全关闭计算容量,这样就无需支付费用。 Amazon SageMaker 是我们的完全托管式机器学习服务,它提供了不同的模型推理选项来支持所有这些使用案例: SageMaker 实时推理适用于具有低延迟要求(以毫秒为单位)的工作负载 SageMaker 异步推理适用于有效负载较大或需要较长处理时间的推理 SageMaker 批量转换用于针对批量数据运行预测 SageMaker 无服务器推理适用于具有间歇性或不频繁流量模式的工作负载 Amazon SageMaker 无服务器推理的更多详细信息 通过与机器学习从业人员的大量对话,我选择要求提供完全托管的机器学习推理选项,该选项可让您专注于开发推理代码,同时自动管理基础设施的所有事务。SageMaker 无服务器推理现在提供这种轻松部署的功能。 根据模型收到的推理请求量,SageMaker 无服务器推理会自动预置、扩展和关闭计算容量。因此,您只需为运行推理代码的计算时间和处理的数据量付费,而无需为空闲时间付费。 您可以使用 SageMaker 的内置算法和机器学习框架服务容器将模型部署到无服务器推理端点,或者选择引入自有的容器。如果流量变得可预测且保持稳定,您可以轻松地从无服务器推理端点更新到 SageMaker 实时端点,而无需更改容器镜像。使用无服务器推理,您还可受益于 SageMaker 提供的功能,包括内置指标,如调用计数、故障、延迟、主机指标和 Amazon CloudWatch 中的错误。 自预览版发布以来,SageMaker 无服务器推理增加了对 SageMaker Python SDK 和模型注册表的支持。SageMaker […]

Read More