Apresentamos o AWS Neuron SDK 2.27.0
Hoje, a AWS anuncia o Neuron SDK 2.27.0, apresentando suporte ao Trainium3 UltraServer com componentes expandidos de código aberto. O Neuron também apresenta o conjunto de ferramentas Neuron Explorer, a Enhanced NKI com NKI Compiler de código aberto criado em MLIR (beta privado), a NKI Library de kernels otimizados, suporte nativo ao PyTorch por meio do TorchNeuron (beta privado) e o Neuron DRA para gerenciamento de recursos nativo do Kubernetes (beta privado).
Essas atualizações permitem que as estruturas padrão funcionem inalteradas no Trainium e removem barreiras para os pesquisadores experimentarem e inovarem. Para desenvolvedores que precisam de um controle mais profundo, a Neuron Kernel Interface (NKI) Beta 2 aprimorada fornece acesso direto às otimizações em nível de hardware, o que permite aos clientes escalar workloads de IA com melhor performance. Se você estiver interessado em ter acesso antecipado aos novos recursos e melhorias da NKI, poderá participar do programa beta privado Neuron.
A nova versão do SDK está disponível em todas as regiões da AWS que oferecem suporte às instâncias Inferentia e Trainium, oferecendo performance aprimorada e recursos de monitoramento para workloads de machine learning.
Para obter mais detalhes, consulte: