AWS annuncia TorchNeuron: supporto PyTorch nativo per AWS Trainium (beta pubblica)
Oggi AWS ha lanciato la beta pubblica di TorchNeuron, un backend PyTorch nativo open source per AWS Trainium. Trainium è un portafoglio di chip IA progettati per offrire elevate prestazioni ed efficienza in termini di costi per i carichi di lavoro di addestramento e inferenza di IA basati su deep learning. TorchNeuron consente a scienziati e ricercatori di IA di sperimentare e creare modelli con PyTorch in modo nativo su Trainium.
Con TorchNeuron, gli sviluppatori possono abilitare il proprio codice PyTorch su Trainium semplicemente passando a .to('neuron'), mantenendo al contempo la piena compatibilità con PyTorch tramite eager execution, torch.compile e le API PyTorch standard. Inoltre, TorchNeuron si integra con Neuron Kernel Interface (NKI) per consentire l'utilizzo di operatori personalizzati e l'ottimizzazione delle prestazioni per l'hardware Trainium.
TorchNeuron è disponibile come software open source tramite il repository GitHub di TorchNeuron per le istanze Amazon EC2 Trainium2 e le istanze Amazon EC2 Trainium3.
Per ulteriori informazioni su TorchNeuron e sugli acceleratori AWS Trainium, visita la pagina di AWS Neuron.