Publicado en: Dec 1, 2021
Hoy nos complace anunciar Amazon SageMaker Training Compiler, una nueva característica de SageMaker que puede acelerar la formación de modelos de aprendizaje profundo hasta en un 50 % mediante un uso más eficiente de las instancias de GPU.
Los modelos de aprendizaje profundo más avanzados para tareas de procesamiento de lenguaje natural (PLN) y visión artificial son complejas redes neuronales de varias capas con miles de millones de parámetros que pueden tardar miles de horas de GPU en formarse. Incluso el ajuste minucioso de estos modelos, a veces, puede tardar días, lo que supone un costo alto y un freno a la innovación. Para acelerar este proceso, ahora puede utilizar SageMaker Training Compiler con cambios mínimos en su script de formación existente. SageMaker Training Compiler está integrado en las últimas versiones de PyTorch y TensorFlow en SageMaker y trabaja detrás de bastidores de estos marcos para que, una vez que esté habilitado, no se requieran otros cambios en su flujo de trabajo.
SageMaker Training Compiler acelera la formación al convertir los modelos de aprendizaje profundo de representaciones de lenguaje de alto nivel a instrucciones optimizadas para hardware. Para ser más específicos, la compilación de SageMaker Training Compiler efectúa optimizaciones a nivel de gráficos (fusión de operadores, planificación de memoria y simplificación algebraica), optimizaciones a nivel del flujo de datos (transformación del diseño, eliminación de subexpresiones comunes) y optimizaciones de backend (ocultamiento de la latencia de la memoria, optimizaciones orientadas a los bucles) para utilizar más eficientemente los recursos de hardware y, como resultado, formar el modelo con más rapidez. El artefacto del modelo devuelto a partir de este proceso de formación acelerado es el mismo que se obtendría sin estas optimizaciones de formación habilitadas.
SageMaker Training Compiler fue probado en los modelos de aprendizaje profundo de PLN más populares de Hugging Face, entre los que se incluyen bert-base-cased, bert-base-uncased, distilbert-base-uncased, distilbert-base-uncased-finetuned-sst-2-english, gpt2, roberta-base, roberta-large, bert-base-chinese y xlm-roberta-base. Estos modelos se forman hasta un 50 % más rápido con SageMaker Training Compiler.
SageMaker Training Compiler ya está disponible de forma general en el Norte de Virginia, Ohio, Oregón e Irlanda y se proporciona sin costo adicional a los clientes de SageMaker. Para más detalles, visite la página web de formación de modelos de SageMaker y la documentación técnica de SageMaker Training Compiler.