El SDK 2.29.0 de AWS Neuron ya está disponible con NKI y Neuron Explorer fuera de la versión beta, un nuevo simulador de CPU y una biblioteca de NKI ampliada
En esta versión, el SDK 2.29.0 de AWS Neuron promueve Neuron Kernel Interface (NKI) de Beta a estado estable con la versión 0.3.0. NKI ofrece a los desarrolladores acceso directo y de bajo nivel a los NeuronCores de AWS Trainium y AWS Inferentia mediante una sintaxis basada en Python. Esta versión presenta la biblioteca estándar de NKI, que expone el código fuente visible para el desarrollador de todas las API y objetos de idioma nativo de NKI. También contiene un nuevo simulador de CPU que permite a los desarrolladores escribir, probar y depurar núcleos NKI localmente en una CPU estándar, sin necesidad de hardware Trainium, utilizando las herramientas de depuración estándar de Python. NKI 0.3.0 también suma nuevas características a nivel de ISA, como una instrucción exponencial dedicada, el control de acumulación de matmul, la configuración de prioridad de DMA para Trn3 y operaciones colectivas generales de longitud variable.
La biblioteca NKI se amplía con 7 nuevos núcleos experimentales que abarcan Conv1D, un megakernel de generación de tokens de transformador de múltiples capas, primitivas fusionadas de comunicación y computación para Trainium2 y operaciones de segmentación dinámica. Los núcleos existentes también reciben mejoras. Attention CTE escala a tamaños de lote y longitudes de secuencia más grandes, la MLP agrega rutas de cuantización de precisión mixta y la TKG de MoE introduce un algoritmo dinámico de todos los expertos.
Para la inferencia, NxD Inference mejora la compatibilidad con los modelos del lenguaje de visión con optimizaciones para Qwen3 VL y Qwen2 VL, que incluyen el paralelismo de secuencias de modelos de texto y el paralelismo de datos de visión. El complemento vLLM Neuron se actualizó a la versión 0.5.0.
Neuron Explorer, el conjunto de herramientas de creación de perfiles y depuración de Neuron, también pasa de Beta a estado estable. System Trace Viewer ahora admite el conjunto completo de widgets de dispositivos para el análisis de perfiles de varios dispositivos, y la herramienta está disponible en VS Code Extension Marketplace para una instalación simplificada. Para obtener información completa sobre la versión, consulte las notas de la versión 2.29.0 del SDK de AWS Neuron.
El SDK está disponible en todas las regiones de AWS que admiten instancias de Inferentia y Trainium.
Más información: