Apa itu Amazon SageMaker Model Training?
Pelatihan Model Amazon SageMaker mengurangi waktu dan biaya untuk melatih serta menyetel model machine learning (ML) dalam skala besar tanpa perlu mengelola infrastruktur. Anda dapat memanfaatkan infrastruktur komputasi ML beperforma tertinggi yang saat ini tersedia dan SageMaker dapat secara otomatis menaikkan atau menurunkan skala infrastruktur, dari satu hingga ribuan GPU. Karena hanya membayar untuk yang digunakan, Anda dapat mengelola biaya pelatihan dengan lebih efektif. Untuk melatih model deep learning lebih cepat, SageMaker membantu Anda memilih dan menyempurnakan set data secara waktu nyata. Pustaka pelatihan terdistribusi SageMaker dapat membagi model besar dan set data pelatihan secara otomatis di seluruh instans AWS GPU atau Anda dapat menggunakan pustaka pihak ketiga, seperti DeepSpeed, Horovod, atau Megatron. Latih model fondasi (FM) selama berminggu-minggu dan berbulan-bulan tanpa gangguan dengan memantau dan memperbaiki klaster pelatihan secara otomatis.
Keuntungan pelatihan hemat biaya
Latih model dalam skala besar
Infrastruktur terkelola penuh dalam skala besar
Kelola sumber daya sistem secara efisien dengan berbagai pilihan GPU dan CPU. Ini termasuk GPU NVIDIA A100 dan H100 serta akselerator AWS seperti AWS Trainium dan AWS Inferentia. SageMaker menaikkan atau menurunkan skala infrastruktur secara otomatis, dari satu hingga ribuan GPU.
Amazon SageMaker Hyperpod
SageMaker HyperPod menghilangkan pekerjaan berat yang tidak terdiferensiasi dalam membangun dan mengoptimalkan infrastruktur ML untuk melatih FM, sehingga mengurangi waktu pelatihan hingga 40%. SageMaker HyperPod telah dikonfigurasi sebelumnya dengan pustaka pelatihan terdistribusi SageMaker yang memungkinkan Anda membagi beban kerja pelatihan secara otomatis ke ribuan akselerator, sehingga beban kerja dapat diproses secara paralel untuk meningkatkan performa model. Ketika kegagalan perangkat keras terjadi, SageMaker HyperPod secara otomatis mendeteksi kegagalan tersebut, memperbaiki atau mengganti instans yang rusak, dan melanjutkan pelatihan dari titik pemeriksaan terakhir yang disimpan, memungkinkan Anda berlatih selama seminggu atau berbulan-bulan dalam pengaturan terdistribusi tanpa gangguan.
Pelatihan terdistribusi performa tinggi
Dengan hanya beberapa baris kode, Anda dapat menambahkan paralelisme data atau paralelisme model ke skrip pelatihan Anda. SageMaker membuatnya lebih cepat untuk melakukan pelatihan terdistribusi dengan secara otomatis membagi model dan set data pelatihan Anda di seluruh instans AWS GPU.
Peralihan data cerdas (Pratinjau)
Akselerasikan pelatihan model deep learning dengan memfilter sampel kesulitan rendah secara otomatis dari data pelatihan Anda. Dengan memilih sampel data secara dinamis, ukuran set data pelatihan dikurangi secara efektif sehingga hanya menyertakan sampel informatif. Dengan menggunakan subkumpulan data Anda yang disempurnakan, tugas pelatihan diselesaikan hingga 35% lebih cepat dan dengan dampak minimal atau tanpa dampak terhadap akurasi model.
Alat bawaan untuk akurasi tertinggi dan biaya terendah
Penyetelan Model Otomatis
SageMaker dapat secara otomatis menyetel model Anda dengan menyesuaikan ribuan kombinasi parameter algoritma untuk sampai pada prediksi yang paling akurat, menghemat berminggu-minggu usaha. Hal ini membantu Anda menemukan versi model terbaik dengan menjalankan banyak tugas pelatihan pada set data Anda.
Pelatihan Spot Terkelola
SageMaker membantu mengurangi biaya pelatihan hingga 90 persen dengan secara otomatis menjalankan tugas pelatihan ketika kapasitas komputasi tersedia. Tugas pelatihan ini juga tahan terhadap gangguan yang disebabkan oleh perubahan kapasitas.
Debugging
Amazon SageMaker Debugger menangkap tugas pelatihan metrik dan profil secara waktu nyata sehingga Anda dapat dengan cepat memperbaiki masalah performa sebelum melakukan deployment model ke produksi. Anda juga dapat terhubung dari jarak jauh ke lingkungan pelatihan model di Amazon SageMaker untuk debugging dengan akses ke kontainer pelatihan dasar.
Profiler
Alat bawaan untuk interaktivitas dan pemantauan
Manajemen eksperimen
Amazon SageMaker Experiments menangkap parameter input, konfigurasi, dan hasil, lalu menyimpannya sebagai eksperimen untuk membantu Anda melacak iterasi model ML.
Amazon SageMaker dengan TensorBoard
Amazon SageMaker dengan TensorBoard membantu Anda menghemat waktu pengembangan dengan memvisualisasikan arsitektur model untuk mengidentifikasi dan memulihkan masalah konvergensi, seperti kehilangan validasi yang tidak konvergen atau menghilangnya gradien.