Reduzca los costos de inferencia de aprendizaje automático en PyTorch con Amazon Elastic Inference

Ahora puede usar Amazon Elastic Inference para acelerar la inferencia y reducir los costos de inferencia para los modelos PyTorch en Amazon SageMaker, Amazon EC2 y Amazon ECS. Las bibliotecas PyTorch mejoradas para EI están disponibles automáticamente en Amazon SageMaker, las AMI de AWS Deep Learning y AWS Deep Learning Containers, para que pueda implementar sus modelos PyTorch en producción con cambios mínimos de código. Elastic Inference admite modelos compilados de TorchScript en PyTorch. Para usar Elastic Inference con PyTorch, debe convertir sus modelos de PyTorch en TorchScript y usar la API Elastic Inference para inferencia. Hoy, PyTorch se une a TensorFlow y Apache MXNet como un marco de aprendizaje profundo que es compatible con Elastic Inference.

Elastic Inference le permite asociar solo la cantidad correcta de aceleración impulsada por GPU a cualquier instancia de Amazon SageMaker, instancia EC2, o ECS para reducir el costo de ejecución de inferencias de aprendizaje automático en hasta un 75 %.

PyTorch para Elastic Inference es compatible con regiones donde Amazon Elastic Inference está disponible. Para obtener más información, consulte Uso de modelos PyTorch con Elastic Inference en la guía para desarrolladores y nuestra publicación de blog, “Reducir los costos de inferencia de aprendizaje automático en Amazon SageMaker para modelos PyTorch que usan Amazon Elastic Inference”.