亚马逊AWS官方博客

Tag: Amazon Elastic Inference

对 PyTorch BERT 模型进行微调,并将其部署到 Amazon SageMaker 上的 Amazon Elastic Inference

在本文中,我们使用Amazon SageMaker以BERT为起点,训练出一套能够标记句子语法完整性的模型。接下来,我们将模型分别部署在使用Elastic Inference与不使用Elastic Inference的Amazon SageMaker终端节点。您也可以使用这套解决方案对BERT做其他方向的微调,或者使用PyTorch-Transformers提供的其他预训练模型。
Key Messages as Tag

使用 Amazon Elastic Inference 降低 Amazon EC2 for PyTorch 模型的推理成本

Elastic Inference 是一项灵活的低成本解决方案,适用于 Amazon EC2 上的 PyTorch 推理工作负载。通过将 Elastic Inference 加速器附加到 CPU 客户端实例,您可以获得类似于 GPU 的推理加速并保持比独立的 GPU 和 CPU 实例更高的成本效益。有关更多信息,请参阅什么是 Amazon Elastic Inference?