Réduire les coûts d’inférence sur PyTorch avec Amazon Elastic Inference

Vous pouvez désormais utiliser Amazon Elastic Inference pour accélérer l’inférence et réduire les coûts d’inférence pour les modèles PyTorch dans Amazon SageMaker, Amazon EC2 et Amazon ECS. Des bibliothèques PyTorch améliorées pour EI sont désormais automatiquement disponible dans Amazon SageMaker, les AMI AWS Deep Learning, et AWS Deep Learning Containers pour que vous puissiez déployer vos modèles PyTorch en production avec le moins de changements de code possible. Elastic Inference prend en charge les modèles compilésTorchScript sur PyTorch. Afin d’utiliser Elastic Inference avec PyTorch, vous devez convertir vos modèles PyTorch en TorchScript et utiliser l’API Elastic Inference pour inférence. Aujourd’hui, PyTorch devient un cadre de deep learning pris en charge par Elastic Inference, à l’image de TensorFlow et Apache MXNet.

Elastic Inference vous permet de relier exactement la bonne quantité d’accélération basée sur GPU à une instance Amazon SageMaker ou EC2, ou à une tâche ECS afin de réduire le coût d'exécution de l'inférence deep learning jusqu'à 75 %.

PyTorch for Elastic Inference est pris en charge dans les régions où Amazon Elastic Inference est disponible. Pour plus d’informations, consultez la section Utiliser des modèles PyTorch avec Elastic Inferencedans le guide du développeur et la publication « Reduce ML inference costs on Amazon SageMaker for PyTorch models using Amazon Elastic Inference » sur notre blog.