Amazon SageMaker Neo ahora admite la compilación de modelos de PyTorch y TensorFlow para instancias de Inferentia 2 y Trainium 1

A partir de hoy, puede elegir Inferentia 2 y Trainium 1 como destinos adicionales para compilar sus modelos de PyTorch y TensorFlow para Amazon SageMaker Neo, una función de Amazon SageMaker que permite a los clientes optimizar los modelos de machine learning (ML) para la inferencia en SageMaker a fin de lograr una inferencia más rápida sin pérdida de precisión. Las instancias Inf2 de Amazon Elastic Compute Cloud (Amazon EC2) ofrecen un alto rendimiento al menor costo para los modelos de inteligencia artificial (IA) generativa, incluidos los modelos de lenguaje de gran tamaño (LLM) y los transformadores de visión. AWS Trainium es el acelerador de machine learning (ML) que AWS creó especialmente para el entrenamiento de aprendizaje profundo de más de 100 mil millones de modelos de parámetros.

Las instancias de Inferentia 2 están disponibles en us-east-2 y las instancias de Trainium 1 están disponibles en us-east-1. Puede comenzar rápidamente a través de la consola con solo seleccionar ml_inf2 o ml_trn1 como dispositivo de destino. Si usa un SDK para compilar modelos con Neo, configure el campo targetDevice (dispositivo de destino) en output config (configuración de salida) como ml_inf2 o ml_trn1. Los marcos compatibles son PyTorch 1.13 y TensorFlow 2.10. Obtenga más información aquí.

Para obtener más información sobre AWS Sagemaker Neo y la experiencia de consola, consulte la documentación aquí. Para comenzar, inicie sesión en la consola de Amazon SageMaker.