AWS kündigt TorchNeuron an: Native PyTorch-Unterstützung für AWS Trainium (öffentliche Betaversion)
Heute hat AWS die öffentliche Betaversion von TorchNeuron veröffentlicht, einem nativen Open-Source-Backend von PyTorch für AWS Trainium. Trainium ist ein Portfolio von KI-Chips, die auf hohe Leistung und Kosteneffizienz für KI-Training mit Deep-Learning und Inferenz-Workloads ausgelegt sind. TorchNeuron ermöglicht es KI-Wissenschaftlern und -Forschenden, mit PyTorch nativ auf Trainium zu experimentieren und Modelle zu erstellen.
Mit TorchNeuron können Entwickelnde ihren PyTorch-Code auf Trainium aktivieren, indem sie einfach zu .to('neuron') wechseln und gleichzeitig die volle PyTorch-Kompatibilität mit effizienter Ausführung, torch.compile und Standard-PyTorch-APIs beibehalten. Darüber hinaus lässt sich TorchNeuron in das Neuron Kernel Interface (NKI) integrieren, um benutzerdefinierte Bedienende und Leistungsoptimierungen für Trainium-Hardware zu ermöglichen.
TorchNeuron ist als Open Source über das TorchNeuron-Github-Repo für Instances von Amazon EC2 Trainium2 und Amazon EC2 Trainium3 verfügbar.
Um mehr über TorchNeuron und die AWS-Trainium-Beschleuniger zu erfahren, besuchen Sie die AWS-Neuron-Seite.