AWS Neuron mengumumkan dukungan untuk Alokasi Sumber Daya Dinamis dengan Amazon EKS
AWS mengumumkan driver Neuron Dynamic Resource Allocation (DRA) untuk Amazon Elastic Kubernetes Service (EKS), yang menghadirkan penjadwalan berbasis perangkat keras asli Kubernetes ke instans berbasis AWS Trainium. Driver Neuron DRA mempublikasikan atribut perangkat yang lengkap langsung ke penjadwal Kubernetes, memungkinkan pengambilan keputusan penempatan yang mempertimbangkan topologi tanpa ekstensi penjadwal khusus.
Menerapkan beban kerja AI di Kubernetes mengharuskan para insinyur ML untuk membuat keputusan infrastruktur yang tidak terkait langsung dengan pengembangan model, seperti menentukan jumlah perangkat, memahami topologi perangkat keras dan jaringan, serta menulis manifes khusus akselerator. Hal ini menciptakan gesekan, memperlambat iterasi, dan mengaitkan beban kerja secara erat dengan infrastruktur yang mendasarinya. Seiring dengan meluasnya kasus penggunaan ke pelatihan terdistribusi, inferensi konteks panjang, dan arsitektur terpisah, kompleksitas ini menjadi hambatan dalam hal penskalaan.
Driver Neuron DRA menghilangkan beban ini dengan memisahkan masalah infrastruktur dari alur kerja ML. Tim infrastruktur mendefinisikan ResourceClaimTemplates yang dapat digunakan kembali untuk mencatat topologi perangkat, alokasi, dan kebijakan jaringan. Para teknisi ML dapat dengan mudah merujuk templat ini dalam manifes mereka, tanpa perlu memikirkan detail perangkat keras. Hal ini memungkinkan deployment yang konsisten di berbagai jenis beban kerja sekaligus memungkinkan konfigurasi per beban kerja sehingga beberapa beban kerja dapat secara efisien berbagi simpul yang sama.
Driver Neuron DRA mendukung semua tipe instans AWS Trainium dan tersedia di semua AWS Region tempat AWS Trainium tersedia.
Untuk dokumentasi, contoh templat, dan panduan implementasi, kunjungi dokumentasi Neuron DRA.
Pelajari Selengkapnya: