AWS mengumumkan TorchNeuron: Dukungan PyTorch Asli untuk AWS Trainium (Beta Publik)
Hari ini, AWS meluncurkan versi beta publik dari TorchNeuron, sebuah backend PyTorch asli sumber terbuka untuk AWS Trainium. Trainium adalah portofolio chip AI yang dirancang untuk memberikan kinerja tinggi dan efisiensi biaya untuk beban kerja pelatihan dan inferensi AI deep learning. TorchNeuron memungkinkan para ilmuwan dan peneliti AI untuk bereksperimen dan membangun model dengan PyTorch secara langsung di Trainium.
Dengan TorchNeuron, pengembang dapat mengaktifkan kode PyTorch mereka di Trainium hanya dengan beralih ke .to('neuron') sambil mempertahankan kompatibilitas PyTorch penuh dengan eksekusi eager, torch.compile, dan API PyTorch standar. Selain itu, TorchNeuron terintegrasi dengan Antarmuka Kernel Neuron (NKI) untuk memungkinkan operator kustom serta optimalisasi performa bagi perangkat keras Trainium.
TorchNeuron tersedia sebagai perangkat lunak sumber terbuka melalui repositori github TorchNeuron untuk instans Amazon EC2 Trainium2 dan instans Amazon EC2 Trainium3.
Untuk mempelajari lebih lanjut tentang TorchNeuron dan akselerator AWS Trainium, kunjungi halaman AWS Neuron.