Riduci i costi di inferenza ML su PyTorch con Amazon Elastic Inference

Ora puoi utilizzare Amazon Elastic Inference per accelerare l'inferenza e ridurne i costi per i modelli PyTorch in Amazon SageMaker, Amazon EC2 e Amazon ECS. Le librerie migliorate di PyTorch per EI sono disponibili automaticamente in Amazon SageMaker, AMI di AWS Deep Learning e AWS Deep Learning Containers, con la possibilità di distribuire i modelli di PyTorch in produzione con modifiche minime al codice. Elastic Inference supporta i modelli compilati TorchScript su PyTorch. Per utilizzare Elastic Inference con PyTorch devi convertire i modelli PyTorch in TorchScript e utilizzare l'API di Elastic Inference per l'inferenza. Oggi, PyTorch si aggiunge a TensorFlow e Apache MXNet come framework di deep learning supportato da Elastic Inference.

Elastic Inference consente di collegare la giusta quantità di accelerazione basata su GPU a qualsiasi tipo di istanza Amazon SageMaker, EC2 o a un’attività su ECS per ridurre fino al 75% il costo dell’esecuzione dell’inferenza di apprendimento approfondito.

PyTorch per Elastic Inference ora è supportato in tutte le regioni in cui è disponibile Amazon Elastic Inference. Per ulteriori informazioni, consulta Utilizzo dei modelli PyTorch con Elastic Inference nella guida per sviluppatori e nel nostro post del blog "Riduci i costi di inferenza ML su Amazon SageMaker per i modelli PyTorch utilizzando Amazon Elastic Inference".