AWS Neuron 2.31.0 agora disponível com NKI 0.5.0 e UltraServer Operator
O AWS Neuron 2.31.0 já está disponível, introduzindo o NKI 0.5.0 com novo suporte ao dtype de escala MX FP8, indireção de tensores em operações de computação para reduzir instruções em padrões de acesso indexados e novas APIs NkiTensor view para transformações de layout de tensores com custo zero. Esta versão também introduz o Neuron UltraServer Operator para Amazon EKS em beta público, automatizando a descoberta de UltraServers, a alocação de workloads e a geração de declarações de recursos para workloads com Trainium UltraServer no Amazon EKS.
O Neuron Compiler inclui um backend de geração de código redesenhado, agora habilitado por padrão em Trn2 e Trn3, oferecendo melhor performance. O Neuron Runtime adiciona suporte a scratchpad compartilhado contínuo, simplificando a configuração do dispositivo ao eliminar a necessidade de definir manualmente os tamanhos das páginas de scratchpad. A NKI Library adiciona 14 novos kernels experimentais que abrangem coletivos de treinamento MoE, atenção deformável, projeção DeepSeek MLA e atenção em anel, além de implementações de referência do PyTorch. O Neuron Explorer adiciona a vinculação do código-fonte do System Trace Viewer e o agrupamento padrão atualizado para melhorar a depuração de workloads.
Para começar a usá-lo, consulte os seguintes recursos:
O AWS Neuron está disponível em todas as regiões da AWS que oferecem as instâncias Trn1, Trn2, Trn3, Inf2 e Inf1 do Amazon EC2. Para obter mais informações sobre a disponibilidade regional, consulte a Tabela de regiões da AWS.