A AWS anuncia o TorchNeuron: suporte nativo do PyTorch para o AWS Trainium (versão beta pública)
Hoje, a AWS lançou a versão beta pública do TorchNeuron, um back-end PyTorch nativo de código aberto para o AWS Trainium. O Trainium é um portfólio de chips de IA projetados para oferecer alto desempenho e eficiência de custos para workloads de inferência e treinamento de IA de aprendizado profundo. O TorchNeuron permite que cientistas e pesquisadores de IA experimentem e construam modelos com o PyTorch nativamente no Trainium.
Com o TorchNeuron, os desenvolvedores podem habilitar seu código PyTorch no Trainium simplesmente mudando para ..to('neuron'), mantendo total compatibilidade com PyTorch com execução rápida, torch.compile e APIs padrão do PyTorch. Além disso, o TorchNeuron se integra à Neuron Kernel Interface (NKI) para permitir operadores personalizados e otimização de desempenho para hardware Trainium.
O TorchNeuron está disponível como código aberto por meio do repositório TorchNeuron no github para instâncias do Amazon EC2 Trainium2 e instâncias do Amazon EC2 Trainium3.
Para saber mais sobre o TorchNeuron e os aceleradores AWS Trainium, visite a página do AWS Neuron.