亚马逊AWS官方博客

Tag: asynchronous inference

超长时间异步推理解决方案 Async-Inference-Service

为了满足超长时间推理的需求,且仍然可以利用 SageMaker 全托管环境带来的诸多优点,解决方案的核心思路在于充分利用 SageMaker Training 提供的能力,将其 Train Code 的部分,替 换为 Inference Code,从而在 Training 的触发和运行框架之下,实现的对长时间推理的支持。 为了使整体架构更加简便易用和健壮,在具体实现中,增加了许多工程化内容,如白名单、服务 限制(Quota Limit),和一键部署。