AWS Neuron 2.31.0 ya está disponible con NKI 0.5.0 y UltraServer Operator
AWS Neuron 2.31.0 ya está disponible y presenta NKI 0.5.0 con la nueva compatibilidad con el nuevo tipo de escala D para MX FP8, el direccionamiento de tensores en las operaciones informáticas para reducir el número de instrucciones en los patrones de acceso indexados y las nuevas API de visualización de NKItensor para transformaciones de diseño de tensores sin costo alguno. Esta versión también presenta la versión beta pública de Neuron UltraServer Operator para Amazon EKS, que automatiza el descubrimiento de UltraServer, la asignación de cargas de trabajo y la generación de solicitudes de recursos para las cargas de trabajo de Trainium UltraServer en Amazon EKS.
El compilador Neuron incluye un backend de generación de código rediseñado que ahora está habilitado de forma predeterminada en Trn2 y Trn3, lo que ofrece un rendimiento mejorado. El Neuron Runtime añade compatibilidad con blocs de notas (scratchpad) compartidos contiguos, lo que simplifica la configuración del dispositivo al eliminar la necesidad de establecer manualmente los tamaños de las páginas de los blocs de notas. La biblioteca NKI añade 14 nuevos núcleos experimentales que abarcan los colectivos de entrenamiento del MoE, la atención deformable, la proyección MLA de DeepSeek y la atención en anillo, junto con las implementaciones de referencia de PyTorch. Neuron Explorer añade la vinculación del código fuente de System Trace Viewer y la agrupación predeterminada actualizada para mejorar la depuración de la carga de trabajo.
Para comenzar, consulte los siguientes recursos:
AWS Neuron está disponible en todas las regiones de AWS en las que están disponibles las instancias Trn1, Trn2, Trn3, Inf2 e Inf1 de Amazon EC2. Para obtener más información acerca de la disponibilidad regional, consulte la Tabla de regiones de AWS.