AWS Neuron SDK 2.29.0 já está disponível com NKI e Neuron Explorer fora da versão beta, um novo Simulador de CPU e uma NKI Library expandida
Nesta versão, o AWS Neuron SDK 2.29.0 promove a Neuron Kernel Interface (NKI) de Beta para Stable com a versão 0.3.0. A NKI oferece aos desenvolvedores acesso direto de programação de baixo nível aos NeuronCores do AWS Trainium e do AWS Inferentia usando uma sintaxe baseada em Python. Esta versão introduz a NKI Standard Library, que expõe o código‑fonte visível ao desenvolvedor para todas as APIs da NKI e objetos nativos da linguagem. Ela também inclui um novo Simulador de CPU que permite aos desenvolvedores escrever, testar e depurar kernels NKI localmente em uma CPU padrão, sem exigir hardware Trainium, utilizando ferramentas comuns de depuração em Python. A NKI 0.3.0 também adiciona novos recursos em nível ISA, incluindo uma instrução exponencial dedicada, controle de acumulação de matmul, configurações de prioridade de DMA para Trn3 e coletivos completos de comprimento variável.
A NKI Library se expande com 7 novos kernels experimentais que abrangem Conv1D, um megakernel de geração de tokens para Transformers de várias camadas, primitivas combinadas de comunicação e computação para o Trainium2 e operações de mosaico dinâmico. Os kernels existentes também recebem melhorias. O Attention CTE escala para tamanhos de lote e comprimentos de sequência maiores, o MLP adiciona caminhos de quantização de precisão mista e o MoE TKG introduz um algoritmo dinâmico de all‑expert.
Para inferência, o NxD Inference aprimora o suporte a modelos de linguagem de visão com otimizações para Qwen3 VL e Qwen2 VL, incluindo paralelismo de sequência no modelo de texto e paralelismo de dados para visão. O plug-in vLLM Neuron foi atualizado para a versão 0.5.0.
O Neuron Explorer, o conjunto de ferramentas de criação de perfil e depuração do Neuron, também passa da versão Beta para a Stable. O System Trace Viewer agora oferece suporte ao conjunto completo de widgets de dispositivo para análise de perfil em vários dispositivos, e a ferramenta está disponível no VS Code Extension Marketplace para uma instalação simplificada. Para obter detalhes completos da versão, consulte as notas de versão do AWS Neuron SDK 2.29.0.
O SDK está disponível em todas as regiões da AWS que oferecem suporte às instâncias Inferentia e Trainium.
Saiba mais: