AWS Neuron presenta Neuron Kernel Interface (NKI), el entrenamiento de NxD y la compatibilidad de JAX con el entrenamiento
Hoy, AWS anuncia el lanzamiento de Neuron 2.20, que presenta Neuron Kernel Interface (NKI) (beta), una interfaz de programación para AWS Trainium e Inferentia que permite a los desarrolladores crear kernels de procesamiento optimizados para nuevas funcionalidades, optimizaciones e innovaciones científicas. Además, esta versión presenta NxD Training (beta), una biblioteca basada en PyTorch que permite un entrenamiento distribuido eficiente, con una interfaz fácil de usar compatible con NeMo. Esta versión también incluye compatibilidad con el marco JAX (beta).
AWS Neuron es el SDK para instancias basadas en AWS Inferentia y Trainium, diseñado específicamente para la IA generativa. Neuron se integra con marcos de machine learning conocidos, como PyTorch. Incluye un compilador, una versión ejecutable, herramientas y bibliotecas para admitir el entrenamiento de alto rendimiento y la inferencia de modelos de IA en instancias Trn1 e Inf2.
Esta versión suma características de soporte y mejoras de rendimiento para el entrenamiento y la inferencia de modelos. Para el entrenamiento, esta versión agrega los modelos Llama 3.1 8B y 70B que admiten secuencias de hasta 32 K de longitud, junto con torch.autocast () para soporte nativo de precisión mixta de PyTorch y técnicas PEFT LoRA. Para la inferencia, Neuron 2.20 agrega compatibilidad con los modelos Llama 3.1 (405b, 70b, 8b) y Diffusion-Transformers (DiT), como Pixart-Alpha y Pixart-Sigma. Además, esta versión agrega compatibilidad de la inferencia con muestreo top-p en el dispositivo y una longitud de contexto de 128 K con decodificación Flash. Esta versión también agrega compatibilidad con el sistema operativo Rocky 9.0 y los operadores RMSNorm y RMSNormDx en el compilador Neuron.
Para obtener más información, consulte las notas de lanzamiento de Neuron.