Reduzierung von ML Inference-Kosten auf Amazon SageMaker auf PyTorch mithilfe von Amazon Elastic Inference

Sie können Amazon Elastic Inference jetzt verwenden, um die Inferenz zu beschleunigen und Inferenz-Kosten für PyTorch-Modelle in Amazon SageMaker, Amazon EC2 und Amazon ECS zu reduzieren. Erweiterte PyTorch-Bibliotheken für EI stehen automatisch in Amazon SageMaker, AWS Deep Learning AMIs und AWS Deep Learning Containers zur Verfügung, sodass Sie Ihre PyTorch-Modelle in der Produktion mit minimalen Code-Änderungen bereitstellen können. Elastic Inference unterstützt mit TorchScript kompilierte Modelle auf PyTorch. Zur Verwendung von Elastic Inference mit PyTorch müssen Sie Ihre PyTorch-Modelle in TorchScript konvertieren und Elastic Inference API für die Inferenz verwenden. Heute ergänzt PyTorch TensorFlow und Apache MXNet als Deep Learning Framework, das von Elastic Inference unterstützt wird.

Elastic Inference ermöglicht es Ihnen, jeder beliebigen Amazon SageMaker Instance, EC2 Instance oder ECS-Aufgabe genau die richtige GPU-Beschleunigung zuweisen, um die Kosten für die laufende In Deep Learning Inference um bis zu 75 % zu reduzieren.

PyTorch für Elastic Inference wird in Regionen unterstützt, in denen Amazon Elastic Inference verfügbar ist. Weitere Informationen finden Sie unter Verwendung von PyTorch-Modellen mit Elastic Inference im Entwicklerleitfaden und unserem Blog Post „Reduzierung von ML Inference-Kosten auf Amazon SageMaker für PyTorch-Modelle mithilfe von Amazon Elastic Inference“.