Amazon SageMaker AI 通过自动容器映像缓存，将生成式人工智能推理的横向扩展时间缩短了多达一半

发布于: 2026年6月30日

Amazon SageMaker 推理现在支持容器映像缓存，在横向扩展事件过程中，可将生成式人工智能模型的端到端扩展速度提高最多 2 倍。当端点进行横向扩展时，该服务会预先缓存容器映像，以便新实例能够更快地开始处理流量，而无需等待从 Amazon ECR 拉取大型容器映像。

生成式人工智能工作负载通常使用大型容器映像（10 GB 或更多）来提供深度学习框架和模型服务。以前，在横向扩展过程中启动的每个新实例都必须从 ECR 中拉取完整映像，导致增加了几分钟的冷启动延迟。容器映像缓存通过预先拉取映像来消除这一瓶颈，从而确保新实例启动时，容器已在本地可用。客户无需进行任何更改。该服务会自动缓存您在端点或推理组件配置中指定的任何映像 URI。此功能支持加速器实例类型、单一模型端点和基于推理组件的端点。

此次发布后，SageMaker 推理现在为生成式人工智能提供了一套全面的扩展优化方案：亚分钟级并发指标，可将负载检测速度提升最高 6 倍；实例存储容器缓存，可更快地扩展现有实例；容器映像缓存，可将新实例的扩展速度提升最高 2 倍。

所有支持 SageMaker 推理的 AWS 商业区域均提供容器映像缓存功能。要了解更多信息，请访问发布博客。