亚马逊AWS官方博客

Amazon SageMaker机器学习推理综述

模型推理是将机器学习模型应用到业务数据并提供对该数据的洞察,其经常在业务系统中作为一个模块提供服务,作为整个机器学习生命周期中的一个必不可少的阶段,它的重要性毋庸置疑。不同的ML任务和业务应用场景下对于模型推理的诉求也是不同的,Amazon SageMaker 在模型推理方面提供了众多的功能来满足不同场景下的需求。对于任何一种推理的场景,机器学习工程师都希望能尽量提升推理服务器侧的吞吐以及降低推理的整个延迟,接下来我们从工程角度讨论一下机器学习推理这个话题。