Amazon SageMaker AI memangkas waktu penskalaan inferensi AI generatif hingga setengahnya dengan caching gambar kontainer otomatis
Amazon SageMaker Inference kini mendukung caching gambar kontainer, memungkinkan penskalaan end-to-end hingga 2x lebih cepat untuk model AI generatif selama peristiwa peningkatan skala. Saat titik akhir Anda menambahkan skala (scale out), layanan ini akan melakukan pra-penyimpanan gambar kontainer Anda sehingga instans baru dapat mulai melayani lalu lintas lebih cepat, tanpa menunggu gambar kontainer berukuran besar ditarik dari Amazon ECR.
Beban kerja AI generatif biasanya menggunakan gambar kontainer besar (10 GB atau lebih) untuk kerangka kerja deep learning dan penyajian model. Sebelumnya, setiap instans baru yang diluncurkan selama proses menskalakan harus mengambil gambar lengkap dari ECR, yang menambah latensi cold-start selama beberapa menit. Caching gambar kontainer menghilangkan hambatan ini dengan melakukan menarik gambar terlebih dahulu sehingga instans baru diluncurkan dengan kontainer yang sudah tersedia secara lokal. Pelanggan tidak perlu melakukan perubahan apa pun. Layanan ini secara otomatis menyimpan URI gambar apa pun yang ditentukan dalam konfigurasi titik akhir atau komponen inferensi Anda. Kemampuan ini mendukung tipe instans akselerator, titik akhir model tunggal, dan titik akhir berbasis komponen inferensi.
Dengan peluncuran ini, SageMaker Inference kini menawarkan rangkaian optimasi penskalaan komprehensif untuk AI generatif: metrik konkurensi di bawah satu menit untuk deteksi beban hingga 6x lebih cepat, caching kontainer penyimpanan instans untuk penskalaan lebih cepat pada instans yang ada, dan caching gambar kontainer untuk penskalaan hingga 2x lebih cepat pada instans baru.
Caching gambar kontainer tersedia di semua region komersial AWS yang mendukung SageMaker Inference. Untuk mempelajari lebih lanjut, kunjungi blog peluncurannya.