亚马逊AWS官方博客

Tag: Amazon Elastic Inference

对 PyTorch BERT 模型进行微调,并将其部署到 Amazon SageMaker 上的 Amazon Elastic Inference

在本文中,我们使用Amazon SageMaker以BERT为起点,训练出一套能够标记句子语法完整性的模型。接下来,我们将模型分别部署在使用Elastic Inference与不使用Elastic Inference的Amazon SageMaker终端节点。您也可以使用这套解决方案对BERT做其他方向的微调,或者使用PyTorch-Transformers提供的其他预训练模型。
Key Messages as Tag

Read More

使用 Amazon Elastic Inference 降低 Amazon EC2 for PyTorch 模型的推理成本

Elastic Inference 是一项灵活的低成本解决方案,适用于 Amazon EC2 上的 PyTorch 推理工作负载。通过将 Elastic Inference 加速器附加到 CPU 客户端实例,您可以获得类似于 GPU 的推理加速并保持比独立的 GPU 和 CPU 实例更高的成本效益。有关更多信息,请参阅什么是 Amazon Elastic Inference?

Read More