Amazon SageMaker meluncurkan Inferensi Model Multi-Adaptor
Hari ini, Amazon SageMaker memperkenalkan kemampuan inferensi multi-adaptor baru yang membuka kemungkinan menarik bagi pelanggan yang menggunakan model bahasa yang telah dilatih sebelumnya. Fitur ini memungkinkan Anda untuk meng-deploy ratusan adaptor model LoRA (Low-Rank Adaptation) yang telah disesuaikan di balik satu titik akhir, secara dinamis memuat adaptor yang sesuai dalam milidetik berdasarkan permintaan. Hal ini memungkinkan Anda untuk meng-host berbagai adaptor LoRA yang terfokus dengan efisien, yang dibangun pada model dasar yang seragam, sehingga memberikan throughput yang tinggi dan penghematan biaya dibandingkan dengan pen-deploy-an model-model terpisah.
Dengan inferensi multi-adaptor, Anda dapat dengan cepat menyesuaikan model pra-terlatih untuk memenuhi beragam kebutuhan bisnis. Sebagai contoh, perusahaan pemasaran dan SaaS dapat menyesuaikan aplikasi AI/ML dengan menggunakan gambar, gaya komunikasi, dan dokumen milik setiap pelanggan untuk menghasilkan konten yang dipersonalisasi dalam beberapa detik. Demikian pula, perusahaan di industri seperti kesehatan dan layanan keuangan dapat menggunakan kembali model dasar yang didukung LoRA untuk menangani berbagai tugas spesialis, mulai dari diagnosis medis hingga deteksi penipuan, dengan hanya mengganti adaptor yang telah disesuaikan sesuai kebutuhan. Fleksibilitas dan efisiensi ini membuka peluang baru untuk menerapkan AI yang kuat dan mudah beradaptasi di seluruh organisasi Anda.
Fitur inferensi multi-adaptor tersedia secara umum di: Asia Pasifik (Tokyo, Seoul, Mumbai, Singapura, Sydney, Jakarta), Kanada (Pusat), Eropa (Frankfurt, Stockholm, Irlandia, London), Timur Tengah (UEA), Amerika Selatan (Sao Paulo), AS Timur (N. Virginia, Ohio), dan AS Barat (Oregon).
Untuk memulai, lihat panduan pengembang Amazon SageMaker untuk informasi tentang penggunaan LoRa dan mengelola adaptor model.