AWS Neuron presenta la disponibilidad general de NxD Inference, nuevas características y herramientas mejoradas
Hoy, AWS anuncia el lanzamiento de Neuron 2.23, que incluye mejoras en la inferencia, las capacidades de entrenamiento y las herramientas para desarrolladores. Esta versión pne la biblioteca NxD Inference (NxDi) disponible de forma general (GA), introduce nuevas capacidades de entrenamiento, como Context Parallelism y ORPO, y suma compatibilidad con PyTorch 2.6 y JAX 0.5.3.
La biblioteca NxD Inference pasa de la versión beta a la disponibilidad general, y ahora se recomienda para todos los casos de uso de inferencia de varios chips. Las mejoras clave incluyen la compatibilidad con la caché persistente para reducir los tiempos de compilación y optimizar el tiempo de carga de los modelos.
Para las cargas de trabajo de entrenamiento, la biblioteca NxD Training presenta la compatibilidad con el paralelismo de contexto (beta) para los modelos Llama, lo que permite longitudes de secuencia de hasta 32 000 tokens. La versión suma compatibilidad con la alineación de modelos usando ORPO con conjuntos de datos de estilo DPO y compatibilidad mejorada para bibliotecas de terceros, específicamente: PyTorch Lightning 2.5, Transformers 4.48 y NeMo 2.1.
Neuron Kernel Interface (NKI) presenta nuevas operaciones de enteros de 32 bits, características mejoradas del conjunto de instrucciones (ISA) para Trainium2 y nuevas API de ajuste del rendimiento. Neuron Profiler ahora ofrece una visualización de los resultados de perfil 5 veces más rápida, un seguimiento de errores basado en la cronología y una visualización mejorada de varios procesos con Perfetto.
El SDK de AWS Neuron admite el entrenamiento y la implementación de modelos en instancias Trn1, Trn2 e Inf2, disponibles en las regiones de AWS como instancias bajo demanda, instancias reservadas, instancias de spot o como parte de un Savings Plan.
Para obtener una lista completa de las nuevas características y mejoras de Neuron 2.23 y empezar a utilizar Neuron, consulte: