AWS Neuron 2.32 presenta la programación ampliada de NKI, los núcleos de entrenamiento de MXFP8 y los colectivos de tamaño variable para Trn2 y Trn
AWS Neuron 2.32.0 ya está disponible e introduce NKI 0.6.0 que incluye una instrucción top-K en el dispositivo, una operación “all gather” de longitud variable para kernels cuyos rangos contienen tensores de diferentes tamaños y nuevos componentes de bucles para iteraciones dependientes de los datos.
Esta versión también presenta 13 nuevos kernels de la biblioteca NKI para el entrenamiento de Mezcla de Expertos (MoE) y la atención dispersa, así como una nueva habilidad de desarrollo de agencias neuronales que transfiere los modelos de transformadores al complemento vLLM Neuron. Los kernels de la biblioteca NKI cubren la codificación de contexto para la atención latente dispersa de múltiples cabezales de DeepSeek-v3.2, la atención de MXFP8 para la etapa de decodificación y una implementación compatible de MXFP8 para las pasadas hacia adelante y hacia atrás, que permite entrenar de extremo a extremo en MXFP8 las capas MoE por bloques, con implementaciones de referencia de PyTorch para 22 kernels adicionales.
Neuron Runtime añade operaciones colectivas de tamaño variable de all-gather (recopilación global), reduce-scatter (reducción y distribución) y all-to-all (comunicación de todos a todos) en Trn2 y Trn3, lo que permite que cada rank contribuya o reciba un número diferente de elementos. El complemento vLLM Neuron pasa a vLLM 0.24.0 y se incluye en todas las AMI y contenedores de aprendizaje profundo de Neuron. Neuron Compiler añade un control explícito sobre la compilación de enteros de 64 bits y Neuron Explorer añade la utilización de la CPU del host por núcleo al System Trace Viewer.
AWS Neuron está disponible en todas las regiones de AWS en las que están disponibles las instancias Trn1, Trn2, Trn3, Inf2 e Inf1 de Amazon EC2. Para obtener más información acerca de la disponibilidad regional, consulte la Tabla de regiones de AWS.
Para comenzar, consulte los siguientes recursos: