AWS anuncia TorchNeuron: soporte nativo de PyTorch para AWS Trainium (versión beta pública)
Hoy, AWS lanzó la versión beta pública de TorchNeuron, un backend PyTorch nativo de código abierto para AWS Trainium. Trainium es una cartera de chips de IA diseñados para ofrecer un alto rendimiento y rentabilidad para las cargas de trabajo de inferencia y entrenamiento de IA de aprendizaje profundo. TorchNeuron permite a los científicos e investigadores de IA experimentar y crear modelos con PyTorch de forma nativa en Trainium.
Con TorchNeuron, los desarrolladores pueden habilitar su código de PyTorch en Trainium simplemente cambiando a .to ('neuron') y, al mismo tiempo, mantienen la compatibilidad total de PyTorch con las API PyTorch estándar, torch.compile y de ejecución rápida. Además, TorchNeuron se integra con Neuron Kernel Interface (NKI) para permitir operadores personalizados y optimizar el rendimiento del hardware Trainium.
TorchNeuron está disponible como código abierto a través del repositorio github de TorchNeuron para las instancias Amazon EC2 Trainium2 y Amazon EC2 Trainium3.
Para obtener más información sobre los aceleradores TorchNeuron y AWS Trainium, visite la página de AWS Neuron.