SageMaker JumpStart sekarang menawarkan deployment yang dioptimalkan untuk model fondasi
SageMaker JumpStart sekarang menawarkan deployment yang dioptimalkan, memungkinkan pelanggan untuk men-deploy model fondasi dengan pengaturan pra-konfigurasi yang disesuaikan dengan kasus penggunaan tertentu dan kendala kinerja. Deployment SageMaker JumpStart yang dioptimalkan menyederhanakan deployment model dengan menawarkan konfigurasi yang sadar tugas yang mengoptimalkan biaya, throughput, atau latensi berdasarkan persyaratan beban kerja Anda - baik pembuatan konten, ringkasan, atau Tanya Jawab. Peluncuran ini mencakup dukungan untuk 30+ model populer dari Meta, Microsoft, Mistral AI, Qwen, Google, dan TII, dengan visibilitas ke dalam metrik kinerja utama seperti latensi P50, token waktu hingga pertama (TTFT), dan throughput sebelum deployment.
Dengan deployment SageMaker JumpStart yang dioptimalkan, pelanggan dapat memilih dari konfigurasi khusus kasus penggunaan (seperti penulisan generatif atau interaksi gaya obrolan) dan memilih target pengoptimalan termasuk kinerja yang dioptimalkan biaya, dioptimalkan throughput, dioptimalkan latensi, atau seimbang. Model di-deploy ke titik akhir SageMaker AI Managed Inference atau klaster SageMaker HyperPod dengan konfigurasi pra-set yang menghilangkan dugaan sambil mempertahankan visibilitas penuh ke dalam detail deployment. Model yang tersedia termasuk varian Meta Llama 3.1 dan 3.2, Microsoft Phi-3, model Mistral AI termasuk Mistral-Small-24B-Instruct-2501 baru, seri Qwen 2 dan 3 termasuk multimodal Qwen2-VL, Google Gemma, dan TII Falcon3. Semua deployment memanfaatkan kemampuan deployment VPC SageMaker, memastikan kontrol data dan infrastruktur siap produksi dengan keamanan tingkat korporasi. Fitur ini tersedia di semua AWS Region tempat SageMaker JumpStart didukung saat ini.
Untuk memulai deployment yang dioptimalkan, navigasikan ke Model di SageMaker Studio, pilih model fondsi yang Anda inginkan di tab JumpStart Models, pilih “Deploy,” dan pilih kasus penggunaan dan target pengoptimalan kinerja Anda. Untuk detailnya, kunjungi dokumentasi SageMaker JumpStart. AWS secara aktif memperluas dukungan untuk menyertakan model tambahan.