AWS Trainium
AWS Trainium es el acelerador de machine learning (ML) de segunda generación que AWS creó especialmente para el entrenamiento de aprendizaje profundo de más de 100 000 000 000 de modelos de parámetros. Cada instancia Trn1 de Amazon Elastic Compute Cloud (EC2) implementa hasta 16 aceleradores de AWS Trainium para ofrecer una solución de alto rendimiento y bajo costo para el entrenamiento de aprendizaje profundo (DL) en la nube. Aunque el uso del aprendizaje profundo se acelera, muchos equipos de desarrollo están limitados por presupuestos fijos, lo que pone un tope al alcance y la frecuencia de la formación necesaria para mejorar sus modelos y aplicaciones. Las instancias Trn1 de EC2 basadas en Trainium solucionan este problema al ofrecer un tiempo de entrenamiento más rápido y hasta un 50 % de ahorro en el costo del entrenamiento con respecto a instancias comparables de Amazon EC2. Trainium se ha optimizado para entrenar el procesamiento del lenguaje natural, la visión artificial y los modelos de recomendación utilizados en un amplio conjunto de aplicaciones, como el resumen de texto, la generación de código, la respuesta a preguntas, la generación de imágenes y videos, la recomendación y la detección de fraudes.
Beneficios
Diseño específico para el entrenamiento de aprendizaje profundo de alto rendimiento
Cada acelerador de Trainium incluye dos núcleos NeuronCore de segunda generación diseñados específicamente para algoritmos de aprendizaje profundo. Para admitir un paralelismo eficiente de datos y modelos, cada acelerador Trainium tiene 32 GB de memoria de ancho de banda, ofrece hasta 190 TFLOPS de potencia computacional de FP16 o BF16 y cuenta con NeuronLink, una tecnología de interconexión intrainstancia sin bloqueos y de gran ancho de banda.
Optimizado para modelos de vanguardia
Trainium es compatible de forma nativa con una amplia gama de tipos de datos (FP32, TF32, BF16, FP16, UINT8 y FP8 configurable). Admite el redondeo estocástico acelerado por hardware para ofrecer un alto rendimiento y una mayor precisión en comparación con los modos de redondeo heredados. Trainium también ofrece soporte para el flujo de control y operadores personalizados escritos en C++ para ofrecer una infraestructura flexible y preparada para el futuro para sus necesidades de formación.
Compatibilidad nativa con marcos y bibliotecas de ML
El SDK de AWS Neuron, compatible con Trainium, se integra de forma nativa con PyTorch y TensorFlow. Esto garantiza que pueda continuar con el uso de sus flujos de trabajo existentes en estos marcos populares y comenzar con Trainium con solo unas pocas líneas de cambios en el código. Para el entrenamiento de modelos distribuidos, el SDK de Neuron admite bibliotecas, como Megatron-LM y PyTorch Fully Sharded Data Parallel (FSDP). Para empezar rápidamente con las instancias Trn1 de EC2 con tecnología de Trainium, consulte los ejemplos de modelos populares en la documentación de Neuron.
SDK de AWS Neuron
AWS Neuron es un SDK que consta de un compilador, tiempo de ejecución y herramientas de creación de perfiles que puede utilizar para ejecutar entrenamientos de alto rendimiento en instancias de Amazon EC2 Trn1 con tecnología de AWS Trainium. Al utilizar Neuron, puede emplear los flujos de trabajo existentes en marcos populares, como TensorFlow y PyTorch, y entrenar de forma óptima en instancias Trn1 de EC2 con mínimos cambios de código. Neuron viene preconfigurado en las AMI de aprendizaje profundo de AWS (DLAMI) y en los contenedores de aprendizaje profundo de AWS, lo que facilita la puesta en marcha de las instancias de Trn1.
AWS Inferentia
AWS Inferentia es un acelerador de inferencia de ML diseñado por AWS que ofrece un alto rendimiento y la inferencia de ML de bajo costo en la nube. Las instancias Inf1 de Amazon EC2 que se basan en los aceleradores de AWS Inferentia ofrecen un rendimiento hasta 2,3 veces mayor y un costo por inferencia hasta un 70 % menor que las instancias comparables de Amazon EC2.
Obtenga acceso instantáneo a la capa gratuita de AWS.
