发布于: May 10, 2023
今天，我们很高兴地宣布全面推出针对 Amazon SageMaker 无服务器推理功能的预置并发支持。预置并发可让您在无服务器端点上部署模型，这些模型具有可预测性能和高可扩展性。您可以向无服务器端点添加预置并发，对于预定义的预置并发量，SageMaker 将保持端点活跃，随时准备立即响应请求。预置并发非常适合流量可预测且吞吐量低的客户。
使用按需无服务器端点，如果您的端点有一段时间没有收到流量，然后突然收到新的请求，则您的端点可能需要一些时间才能启动计算资源来处理请求。这称为冷启动。如果您的并发请求超过当前的并发请求使用量，也可能发生冷启动。为了减少不断变化的延迟，您可以选择为无服务器端点启用预置并发。使用预置并发，您的无服务器端点随时准备就绪，可以即时为流量突增提供多达配置的预置并发量，而不会发生冷启动。
您可以通过 AWS 管理控制台、AWS SDK 或 AWS 命令行界面 (AWS CLI) 为无服务器端点启用预置并发。适用于 SageMaker 无服务器推理功能的预置并发现已在所有全面推出 SageMaker 无服务器推理功能的 AWS 区域全面推出。
开始使用：