亚马逊AWS官方博客

Amazon SageMaker Endpoint for built-in TFS模型推理优化

Tensorflow Serving(简称TFS)是一个很常用的模型推理开源框架,Amazon SageMaker 内建了TFS推理容器以支持TensorFlow SavedModel模型进行高效推理,Amazon SageMaker内建的TFS推理容器即可以做在线推理(比如通过SageMaker Inference Endpoint),也可以做离线推理(比如通过SageMaker Batch Transform)。