Inferensi Amazon SageMaker AI kini mendukung partisi GPU untuk titik akhir real-time
Inferensi Amazon SageMaker AI kini mendukung partisi GPU, memungkinkan Anda menjalankan beberapa model pada satu GPU alih-alih mendedikasikan seluruh akselerator untuk masing-masing model. Dengan menggunakan teknologi NVIDIA Multi-Instance GPU (MIG), SageMaker AI membagi sebuah GPU menjadi hingga tujuh partisi terisolasi, masing-masing dengan memori dan daya komputasinya sendiri. Pelanggan yang menggunakan model berukuran kecil dan menengah, seperti varian yang disempurnakan, model penyematan, perankingan ulang, dan pengklasifikasi, sebelumnya harus memberikan akselerator penuh untuk setiap model, sehingga sebuah instans hanya meng-host model sebanyak jumlah GPU yang dimilikinya dan membayar kapasitas GPU yang tidak pernah digunakan oleh model-model tersebut.
Dengan partisi GPU, Anda memilih cara membagi GPU di belakang titik akhir Anda dan menempatkan setiap model pada partisi yang ukurannya sesuai. Beberapa model kemudian berbagi satu akselerator dengan isolasi yang diterapkan secara perangkat keras, sehingga model yang sedang sibuk tidak dapat mengambil memori atau throughput dari model di sebelahnya. Menyesuaikan ukuran akselerator dengan beban kerja juga membuka peluang untuk generasi instans yang lebih baru yang kapasitasnya lebih besar daripada yang dibutuhkan oleh satu model saja. Anda mengkonfigurasi partisi GPU saat membuat titik akhir yang meng-host komponen inferensi, dan Anda terus menginvokasi setiap model berdasarkan namanya, sehingga kode aplikasi Anda tidak berubah.
Pemartisian GPU tersedia pada instans P4d, P5, G7, dan G7e di AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Tokyo), Eropa (Frankfurt), dan Eropa (Irlandia). Untuk mempelajari lebih lanjut, kunjungi halaman deployment Amazon SageMaker AI dan lihat Panduan Pengembang Amazon SageMaker AI.